Мультимедійна клавіатура на основі датчика жестів РАЈ7620

Abstract

Дана кваліфікаційна бакалаврська робота присвячена розробці апаратно-програмної системи мультимедійної клавіатури з безконтактним керуванням на основі датчика жестів PAJ7620 та мікроконтролера Arduino Pro Micro. Об'єктом дослідження є процес взаємодії людини з комп'ютером за допомогою жестових інтерфейсів, зокрема методи безконтактного керування мультимедійними функціями. Предмет – апаратно-програмна реалізація мультимедійної клавіатури на базі сенсора жестів з підтримкою емуляції HID-пристрою. Метою є створення інтуїтивного та ефективного альтернативного пристрою введення для управління медіаконтентом через природні рухи рук. Практична значимість полягає у впровадженні інноваційного рішення для розважальних систем, стрімінгу та презентаційної діяльності. У першому розділі кваліфікаційної бакалаврської роботи проведено аналіз сучасних методів безконтактного керування мультимедійними пристроями та огляд сенсорних технологій. Виділено переваги жестових інтерфейсів над традиційними методами введення, зокрема їхню інтуїтивність та мінімізацію фізичного контакту з пристроями. У другому розділі обґрунтовано вибір апаратного забезпечення – датчика жестів PAJ7620 та мікроконтролера Arduino Pro Micro. Розроблено архітектуру апаратно-програмного комплексу для обробки жестових команд та емуляції HID-пристрою. Запропоновано алгоритм розпізнавання жестів та їх перетворення у мультимедійні команди. Побудовано схему взаємодії компонентів системи та визначено критерії оцінки функціональності. У третьому розділі реалізовано програмне забезпечення для Arduino, що забезпечує зчитування жестів із сенсора PAJ7620, їхню обробку та передавання відповідних HID-команд комп'ютеру. Описано структуру коду, алгоритми калібрування та логіку прийняття рішень. Проведено тестування, що показали високу точність розпізнавання жестів та зручність користування у різних сценаріях застосування. This bachelor's thesis is devoted to the development of a hardware and software system for a multimedia keyboard with contactless control based on the PAJ7620 gesture sensor and the Arduino Pro Micro microcontroller. The object of research is the process of human-computer interaction using gesture interfaces, in particular, methods of contactless control of multimedia functions. The subject is the hardware and software implementation of a multimedia keyboard based on a gesture sensor with support for HID device emulation. The goal is to create an intuitive and effective alternative input device for managing media content through natural hand movements. The practical significance lies in the implementation of an innovative solution for entertainment systems, streaming and presentation activities. The bachelor's thesis first chapter analyzes current methods of contactless control of multimedia devices and reviews sensor technologies. The advantages of gesture interfaces over traditional input methods are highlighted, including their intuitiveness and minimization of physical contact with devices. The second chapter justifies the choice of hardware - the PAJ7620 gesture sensor and the Arduino Pro Micro microcontroller. The architecture of the hardware and software complex for processing gesture commands and emulating a HID device is developed. An algorithm for recognizing gestures and converting them into multimedia commands is proposed. A scheme of interaction between the system components is constructed and the criteria for evaluating the functionality are determined. The third chapter implements the software for Arduino, which provides reading gestures from the PAJ7620 sensor, processing them, and transmitting the corresponding HID commands to the computer. The code structure, calibration algorithms, and decision-making logic are described. Experimental studies have been conducted to demonstrate the high accuracy of gesture recognition and ease of use in various application scenarios.