Програмне забезпечення розпізнавання жестової мови на основі алгоритмів машинного навчання

Abstract

Жестова мова стає все більш популярною у сферах телебачення, освіти, комунікації та інклюзивних технологій, викликаючи потребу у вдосконаленні методів розпізнавання жестів. Зокрема, вона допомагає людям з вадами слуху покращувати спілкування. Спеціальне програмне забезпечення може покращити навчання та дослідження жестової мови, підвищуючи якість розпізнавання та сприяючи інклюзивності. Таке ПЗ дозволяє тестувати нові алгоритми машинного навчання, а також розвивати науково-технічну базу галузі. Інтерактивні додатки на основі машинного навчання допоможуть користувачам вдосконалювати знання жестової мови та сприятимуть її популяризації в суспільстві. Об’єктом дослідження є процес розпізнавання мови жестів у режимі реального часу. Предметом дослідження є сучасні технології машинного навчання і комп'ютерного зору для розпізнавання жестів у режимі реального часу. Метою кваліфікаційної роботи є автоматизація процесу розпізнавання жестів, що позначають символи американського жестового алфавіту в режимі реального часу із застосуванням технологій машинного навчання. Для досягнення даної мети необхідно вирішити наступні завдання:  вивчити можливості та переваги алгоритмів машинного навчання для розпізнавання жестової мови;  проаналізувати сучасні методи використання жестової мови та визначити ключові вимоги до програмного забезпечення;  розробити концепцію та архітектуру програмного забезпечення;  реалізувати основні компоненти застосунку, такі як моделювання жестів, розпізнавання, віртуальне середовище та інтерфейс користувача;  провести тестування та відпрацювання розробленого програмного забезпечення з метою виявлення та усунення недоліків; У першому розділі описується аналіз предметної області, а саме розпізнавання жестів і навчання розпізнаванню жестів за допомогою програмного забезпечення, а також аналіз аналогічного програмного забезпечення. У другому розділі проводиться аналіз розробки системи розпізнавання жестової мови. Описано ключові функціональні можливості бібліотеки та їх застосування в обробці зображень. Наведено сценарії використання системи. Показано mockup інтерфейсу користувача та наведено діаграми, що демонструють архітектуру та потоки роботи системи. У третьому розділі описується основна реалізація системи розпізнавання жестів, включаючи використання бібліотек та інструментів для обробки зображень, відео та даних з камери. У четвертому розділі описується розробка системи для розпізнавання жестів американського жестового алфавіту за допомогою моделі YOLOv5. Процес включає підготовку даних (аугментацію), навчання моделі з попередньо натренованими вагами, використання CUDA для прискорення обчислень. Також розглядається оцінка точності моделі для досягнення високих результатів у реальних умовах. У висновках описується аналіз роботи, яка проводилася для створення програмного застосунку та аналіз результатів які були отримані. КМР викладена на 94 сторінки, вона містить 4 розділи, 31 ілюстрацій, 8 таблиці, 18 джерел в переліку посилань Sign language is becoming increasingly popular in the fields of television, education, communication, and inclusive technologies, creating a need for improved gesture recognition methods. Specifically, it helps individuals with hearing impairments enhance communication. Special software can improve the learning and research of sign language, increasing recognition quality and promoting inclusivity. Such software allows testing new machine learning algorithms and developing the scientific and technical foundation of the field. Interactive applications based on machine learning will help users improve their knowledge of sign language and contribute to its popularization in society. The object of the research is the process of sign language recognition in real-time. The subject of the research is modern machine learning and computer vision technologies for real-time gesture recognition. The purpose of the qualification work is to automate the process of recognition of gestures denoting symbols of the American Sign Alphabet in real time using machine learning technologies. To achieve this goal, the following tasks must be solved:  to study the capabilities and advantages of machine learning algorithms for sign language recognition;  to analyze modern methods of using sign language and determine key requirements for software;  to develop the concept and architecture of the software;  to implement the main components of the application, such as gesture modeling, recognition, virtual environment and user interface;  to test and develop the developed software in order to identify and eliminate shortcomings; The first section describes the analysis of the subject area, namely gesture recognition and training in gesture recognition using software, as well as the analysis of similar software. The second section analyzes the development of a sign language recognition system. The key functional capabilities of the library and their application in image processing are described. The scenarios for using the system are presented. A mockup of the user interface is shown and diagrams demonstrating the architecture and workflows of the system are presented. The third section describes the basic implementation of the gesture recognition system, including the use of libraries and tools for processing images, videos, and camera data. This fourth section describes the development of a system for recognizing American Sign Language gestures using the YOLOv5 model. The process includes data preparation (augmentation), training the model with pre-trained weights, and using CUDA to accelerate calculations. It also considers the assessment of the accuracy of the model to achieve high results in real-world conditions. The conclusions describe the analysis of the work that was done to create the software application and the analysis of the results that were obtained. The MSD is set out on 94 pages, it contains 4 sections, 31 illustrations, 8 tables, 18 sources in the reference list