Модель оцінки властивостей алгоритмів виправлення орфографічних помилок та її використання для україномовних за стосунків
Вантажиться...
Дата
2021
ORCID
DOI
Науковий ступінь
Рівень дисертації
Шифр та назва спеціальності
Рада захисту
Установа захисту
Науковий керівник
Члени комітету
Видавець
Анотація
Значна частина підходів та методів автоматичного виправлення помилок правопису є мовозалежною, орієнтованою на врахування граматичних правил і фонетики конкретної мови.Переважна більшість робіт у цій сфері присвячена англомовним текстам, менша частина – іншим мовам германської групи, зовсім мала – слов’янським мовам і мізерна – українській мові. Розглядаються інструментарій (імітаційна модель (ІМ)) та пробні результати оцінки коригуючих властивостей деяких алгоритмів по відношенню до виправлення типових помилок тайпінга в україномовних словах за умови попередньої індексації словника. ІМ має модульну структуру і конфігурується до конкретних словників, типів помилок, алгоритмів генерації індексів. Для заданої комбінації «словник – тип помилок – алгоритм» ІМ спотворює слова заданого словника помилкою і шукає найбільш «близькі» слова-кандидати на виправлення помилкового слова. Загальний алгоритм обробки слова, в якому виявлено помилку, включає попередній вибір (ПВ) множини слів-кандидатів
за правилами алгоритму індексації та остаточний вибір (ОВ) – пріоритезація обраних слів і звуження області пошуку «правильного» слова за прийнятими критеріями близькості до слова, що виправляється, і різними критеріями відбору. Пробне моделювання проведено для фонетичних алгоритмів Soundex і Metaphone, адаптованих до української мови. Як ансамбль помилок прийнятий набір помилок тайпінга, що включає чотири різні базові одиночні помилки (заміни, вставки,
пропуски і перестановки символів), а також подвійні помилки, що представляють собою зважену суміш базових помилок. Опрацьовано 59,6 млн помилкових слів, середній час обробки одного слова склав 0,07 мс. Обговорюються результати моделювання, що містять загальну кількість коректованих помилкових слів за видами помилок, кількість коректних пропозицій слів-кандидатів, кількість помилкових пропозицій, кількість відсутніх пропозицій, середню кількість кандидатів у пропозиціях на етапах ПВ і ОВ.
Опис
Ключові слова
перевірка і забезпечення правопису, виправлення помилок у словах української мови, імітаційна модель оцінки алгоритмів індексації словника, spell checking, correction of errors in the words of the Ukrainian language, simulation model for estimating dictionary indexing algorithms, кафедра інформаційних технологій, штучного інтелекту і кібербезпеки
Бібліографічний опис
Костенко, С. В. Модель оцінки властивостей алгоритмів виправлення орфографічних помилок та її використання для україномовних за стосунків / С. В. Костенко, В. А. Литвинов // Математичні машини і системи. – 2021. – № 2. – С. 62–73.