Розробка інтелектуальної системи перетворення (перекладу) жестової мови на базі смарт-рукавички

Abstract

Кваліфікаційна робота бакалавра присвячена розробці інтелектуальної системи перетворення жестової мови на базі смарт-рукавички для автоматичного розпізнавання української дактильної абетки. Робота містить вступ, чотири розділи, висновки, список використаних джерел та додатки. Перший розділ «Дослідження та аналіз предметної області» включає огляд сучасних технологій розпізнавання жестів, аналіз структури жестової мови та існуючих систем. Проведено порівняльний аналіз за критеріями точності, мобільності та вартості. Досліджено компоненти систем розпізнавання жестів та алгоритми машинного навчання. Другий розділ «Аналіз алгоритмів обробки даних» містить дослідження методів цифрової фільтрації та обґрунтування вибору медіанного фільтра. Проаналізовано алгоритми K-Means та K-Medoids для кластеризації. Третій розділ «Програмна реалізація» описує модульну архітектуру системи з модулем збору даних, попередньої обробки, класифікації (нейронна мережа 55 – 30 – 20) та користувацьким інтерфейсом. Реалізація нейронної мережі з алгоритмом Левенберга-Марквардта забезпечила підвищення точності на 56%. Описано протокол Bluetooth 4.0 з частотою 100 Гц. Четвертий розділ «Експериментальні дослідження та аналіз результатів» містить результати тестування на 15 користувачах. Навчання нейронної мережі за 78 епох досягло стабільної збіжності. Аналіз точності 30 жестів показав середню точність 87,6% з часом відгуку 0,51 с. Порівняльний аналіз підтвердив конкурентоспроможність системи. Персональне калібрування підвищує точність до 97,1%. Коефіцієнт готовності становить 99,2% завтономністю 8 – 10 годин. Розроблена система забезпечує оптимальне співвідношення точності, швидкості та економічної ефективності з собівартістю 4560 гривень. Наукова новизна полягає у створенні адаптивних алгоритмів обробки сенсорних даних та інтегрованої системи для української жестової мови.