Модель оцінки властивостей алгоритмів виправлення орфографічних помилок та її використання для україномовних за стосунків

Вантажиться...
Ескіз

Дата

2021

ORCID

DOI

Науковий ступінь

Рівень дисертації

Шифр та назва спеціальності

Рада захисту

Установа захисту

Науковий керівник

Члени комітету

Видавець

Анотація

Значна частина підходів та методів автоматичного виправлення помилок правопису є мовозалежною, орієнтованою на врахування граматичних правил і фонетики конкретної мови.Переважна більшість робіт у цій сфері присвячена англомовним текстам, менша частина – іншим мовам германської групи, зовсім мала – слов’янським мовам і мізерна – українській мові. Розглядаються інструментарій (імітаційна модель (ІМ)) та пробні результати оцінки коригуючих властивостей деяких алгоритмів по відношенню до виправлення типових помилок тайпінга в україномовних словах за умови попередньої індексації словника. ІМ має модульну структуру і конфігурується до конкретних словників, типів помилок, алгоритмів генерації індексів. Для заданої комбінації «словник – тип помилок – алгоритм» ІМ спотворює слова заданого словника помилкою і шукає найбільш «близькі» слова-кандидати на виправлення помилкового слова. Загальний алгоритм обробки слова, в якому виявлено помилку, включає попередній вибір (ПВ) множини слів-кандидатів за правилами алгоритму індексації та остаточний вибір (ОВ) – пріоритезація обраних слів і звуження області пошуку «правильного» слова за прийнятими критеріями близькості до слова, що виправляється, і різними критеріями відбору. Пробне моделювання проведено для фонетичних алгоритмів Soundex і Metaphone, адаптованих до української мови. Як ансамбль помилок прийнятий набір помилок тайпінга, що включає чотири різні базові одиночні помилки (заміни, вставки, пропуски і перестановки символів), а також подвійні помилки, що представляють собою зважену суміш базових помилок. Опрацьовано 59,6 млн помилкових слів, середній час обробки одного слова склав 0,07 мс. Обговорюються результати моделювання, що містять загальну кількість коректованих помилкових слів за видами помилок, кількість коректних пропозицій слів-кандидатів, кількість помилкових пропозицій, кількість відсутніх пропозицій, середню кількість кандидатів у пропозиціях на етапах ПВ і ОВ.

Опис

Ключові слова

перевірка і забезпечення правопису, виправлення помилок у словах української мови, імітаційна модель оцінки алгоритмів індексації словника, spell checking, correction of errors in the words of the Ukrainian language, simulation model for estimating dictionary indexing algorithms, кафедра інформаційних технологій, штучного інтелекту і кібербезпеки

Бібліографічний опис

Костенко, С. В. Модель оцінки властивостей алгоритмів виправлення орфографічних помилок та її використання для україномовних за стосунків / С. В. Костенко, В. А. Литвинов // Математичні машини і системи. – 2021. – № 2. – С. 62–73.

Зібрання