Нейромережевий застосунок класифікації статичних і динамічних дактилем жестової мови

Abstract

Мова жестів є одним із найбільш популярних підходів у спілкуванні між людьми з вадами слуху (як вродженими так і набутими). На сьогодні в Україні за різними даними налічується більш ніж 100 тис. таких осіб. У сучасних реаліях це створює серйозні перешкоди для повноцінної комунікації глухих та слабочуючих людей з їх безпосереднім оточенням та обмежує їх адаптацію і спроби участі в широкому суспільному житті. Жестовою мовою називають спеціальний вид мовлення, який дає можливість позначати літери, слова та словосполучення окремими комбінаціями долонь та пальців рук. Жестова мова, яку використовують люди з особливими потребами, має свій словник і синтаксис, який суттєво відрізняється від усної/письмової мови. У світі жестомовних осіб існує власний «ручний» алфавіт – дактильний алфавіт, у якому кожна літера відповідає окремій комбінації пальців руки. У такий спосіб «промовляються» імена, географічні назви та слова, які не мають усталеного жестового позначення. Дактильний алфавіт складається із статичних та динамічних жестів. Статичний жест – це нерухома поза руки, показана людиною у певний момент часу, одночасно з тим динамічний жест являється послідовністю змінних поз руки. Дослідники активно вивчають методи розробки систем розпізнавання мови жестів в реальному часі. На відміну від задачі розпізнавання статичних жестів, що має ряд якісних практичних рішень, задача розпізнавання динамічних жестів не вирішена у повному обсязі тому є перспективним та актуальним науково-технічним завданням. Через те, що існуючі методи мають ті чи інші функціональні обмеження, дана область вимагає досліджень і розробки нових методів. Метою даної роботи є створення застосунку класифікації статичних та динамічних дактилем жестової мови. Такий застосунок допоможе людям з вадами слуху краще адаптуватися у суспільстві та дозволить ліпше соціалізуватися з оточуючими. Для досягнення заявленої мети необхідно виконати наступні завдання: 1) сформувати завдання класифікації дактилем та розглянути існуючі наукові дослідження та методи реалізації; 2) розробити алгоритм роботи програми; 3) написати код нейронної мережі та функцій комп’ютерного зору; 4) здійснити навчання та тестування нейронної мережі; 5) протестувати застосунок та перевірити коректність класифікації; 6) розробити інтерфейс користувача. Актуальність теми. На сьогоднішній день актуальність даної теми є значною, оскільки застосунків перекладу українських дактилем у відкритому доступі невелика кількість, незважаючи на наявність наукових праць та статей за цією темою. Застосунки класифікації дактилем мови жестів потрібні для полегшення спілкування між людьми з мовно-слуховими вадами та іншими, вони можуть застосовуватися для звичайного перекладу, а також для навчання. Об’єкт дослідження – процес класифікації статичних і динамічних жестів, що відповідають дактилемам українського алфавіту мови жестів із використанням нейронної мережі та комп’ютерного зору. Предмет дослідження – застосунок із використанням нейронної мережі, що реалізує класифікацію дактилем дактильного алфавіту. Методи дослідження – нейронні мережі, функції комп’ютерного зору, метод класифікації жестів. Кваліфікаційна робота складається з трьох розділів. Перший розділ присвячений аналізу предметної області та визначенню завдання до кваліфікаційної роботи. У другому розділі виконується проєктування застосунку. Третій розділ містить процес розробки застосунку та тестування