Інтелектуальна система перетворення української жестової мови на текст та аудіо

Abstract

Актуальність теми даного дослідження полягає у вирішенні проблеми спілкування жестовою мовою та поліпшення якості життя людей з вадами слуху і мовлення. Об’єктом дослідження є процес розпізнавання жестів. Предметом дослідження є методи та алгоритми для розпізнавання жестів та розробка інтелектуальної системи розпізнавання. Метою дослідження є покращення комунікації людей з вадами слуху та мовлення, шляхом розробки інтелектуальної системи перетворення української жестової мови на текст та аудіо. В результаті виконання роботи було реалізовано інтелектуальну систему перетворення української жестової мови на текст та аудіо. Розроблена система здатна розпізнавати жести та перетворювати їх на текст, здійснювати переклад жестів у режимі реального часу, а також конвертувати текст у аудіо. Робота складається з фахової частини, спеціальної частини з охорони праці та методичної частини. Пояснювальна записка складається зі вступу, чотирьох розділів та висновків. Перший розділ присвячений аналізу та огляду досягнень у сфері перекладу жестових мов. У другому розділі розглядаються методи та інформаційні технології для вирішення задачі розпізнавання жестів. Третій розділ містить опис процесу розробки інтелектуальної системи, зокрема, розробки дизайну та архітектури програмного забезпечення. Четвертий розділ присвячений програмній реалізації, тестуванню системи та аналізу отриманих результатів. Загальний обсяг роботи – 147 сторінок. Кваліфікаційна робота магістра містить 1 додаток, 69 рисунків, 7 таблиць і посилання на 68 літературних джерел. The relevance of the topic of this paper is to solve the problem of communicating in sign language and improving the quality of life of people with hearing and speech impairments. The object of this research is the process of gesture recognition. The subject of research is methods and algorithms for gesture recognition and the development of an intelligent recognition system. The purpose of the study is to improve communication between people with hearing and speech impairments by developing an intelligent system for converting Ukrainian sign language into text and audio. As a result of the work, an intelligent system for converting Ukrainian sign language into text and audio was implemented. The developed system is capable of recognizing gestures and converting them into text, translating gestures in real time, and converting text to audio. The work consists of a professional part, a special part on labor protection and a methodological part. The explanatory note consists of an introduction, four chapters, and conclusions. The first section is devoted to the analysis and review of achievements in the field of sign language translation. The second section discusses methods and information technologies for solving the problem of gesture recognition. The third section describes the process of developing an intelligent system, including software design and architecture. The fourth section is devoted to software implementation, system testing, and analysis of the results. The total volume of the work is 147 pages. The master's thesis contains one appendix, 69 pictures, 7 tables and references to 68 literature sources.