Інтелектуальна система для розпізнавання жестової мови з використанням нейронної мережі

Abstract

Актуальність дослідження полягає у необхідності вдосконалення методів розпізнавання жестів для підтримки комунікації людей із порушеннями слуху за допомогою сучасних технологій. Використання методологій навчання нейронних мереж дозволяє підвищити точність та швидкість розпізнавання жестів, що сприятиме створенню інклюзивних рішень у сфері освіти, обслуговування та інтеграції людей із вадами слуху. Розробка ефективних алгоритмів і програмного забезпечення зможе значно зменшити бар'єри у спілкуванні, підвищуючи якість соціальної взаємодії та забезпечуючи рівний доступ до інформаційних і соціальних ресурсів. Об’єктом дослідження є українська жестова мова та її різновиди. Предметом дослідження є методи навчання та розпізнавання мови жестів. Метою роботи є покращення взаємодії людей з вадами слуху за допомогою розробки інтелектуальної системи з розпізнаванням образів за допомогою нейронної мережі В результаті виконання роботи було розроблено систему для автоматизованого розпізнавання жестів із використанням моделі YOLOv8-pose. Було досліджено ефективність моделі, проаналізовано вплив ключових параметрів навчання та аугментації даних, визначено переваги та недоліки підходу для практичних застосувань. Результати роботи знайшли застосування у створенні програмного забезпечення, що сприяє інклюзивній комунікації. Робота складається з чотирьох розділів: огляд предметної області, аналіз методів розпізнавання жестів, розробка й навчання моделі, а також аналіз результатів тестування та оцінка точності моделі. Загальний обсяг роботи – 91 сторінок. Кваліфікаційна робота містить 1 додаток, 41 рисунок, 1 таблицю і 45 джерел посилання. The relevance of the research lies in the need to improve gesture recognition methods to support communication of people with hearing impairments using modern technologies. The use of neural network training methodologies allows to increase the accuracy and speed of gesture recognition, which will contribute to the creation of inclusive solutions in the field of education, service and integration of people with hearing impairments. The development of effective algorithms and software can significantly reduce barriers to communication, improving the quality of social interaction and ensuring equal access to information and social resources. The object of the research is Ukrainian sign language and its varieties. The subject of the research is methods of teaching and recognizing sign language. The aim of the work is to improve the interaction of people with hearing impairments by developing an intelligent system with pattern recognition using a neural network. As a result of the work, a system for automated gesture recognition using the YOLOv8-pose model was developed. The effectiveness of the model was investigated, the influence of key parameters of training and data augmentation was analyzed, and the advantages and disadvantages of the approach for practical applications were identified. The results of the work were used in the creation of software that promotes inclusive communication. The work consists of four sections: overview of the subject area, analysis of gesture recognition methods, development and training of the model, as well as analysis of testing results and assessment of model accuracy. The total volume of the work is 91 pages. The qualification work contains 1 application, 41 figures, 1 table and 45 references.