Реалізація каналу зв'язку між Raspberry Pi та Android для детектування об'єктів у реальному часі

Abstract

У зв’язку з розширенням сфер використання безпілотних літальних апаратів (БПЛА), зокрема FPV-дронів, зростає потреба у створенні ефективних систем автономного моніторингу. Важливу роль у цьому відіграє здатність до виявлення об'єктів і перешкод у реальному часі. Існуючі рішення не завжди задовольняють вимоги щодо вартості, енергоефективності та технічних характеристик, що актуалізує розробку оптимізованих апаратно-програмних забезпечень із застосуванням сучасних технологій комп’ютерного зору. Акцент зроблено на важливості реалізації швидкого, стабільного та енергоефективного каналу зв’язку між елементами системи. Це дає змогу досягти високої точності розпізнавання об’єктів, зменшити затримки передачі даних та забезпечити користувача оперативною інформацією. Реалізація взаємодії через локальну бездротову мережу та застосування протоколів RTSP сприяє підвищенню адаптивності системи до різних технічних умов. Об’єктом дослідження є процес передачі даних між одноплатним комп’ютером і мобільним пристроєм для подальшої обробки та детектування об’єктів у режимі реального часу. Предметом дослідження є методи та засоби реалізації ефективного каналу зв’язку між Raspberry Pi та Android-пристроєм для забезпечення передачі даних детектування об’єктів у реальному часі. Метою роботи є створення ефективного програмно-апаратного забезпечення для виявлення перешкод та координування дій оператора з використанням TensorFlow-фреймворку. Практична значимість полягає в реалізації стабільного каналу передачі зображень і результатів детектування з одноплатним комп’ютером Raspberry Pi на Android-пристрій із мінімальною затримкою, що забезпечує оперативне інформування оператора. Використання оптимізованого фреймворку TensorFlow Lite дозволяє інтегрувати алгоритми комп’ютерного зору в системи з обмеженими ресурсами. Пояснювальна записка кваліфікаційної бакалаврської роботи (КБР) складається зі вступу, трьох розділів, висновків, переліку джерел посилання та 3 додатків. У вступі обґрунтовано актуальність проблематики автоматизованого моніторингу, визначено об’єкт і предмет дослідження, сформульовано мету та завдання роботи, зазначено апробацію матеріалів КБР. У першому розділі проведено аналітичний огляд предметної сфери та аналіз існуючих систем детектування, обґрунтовано вибір апаратного та програмного забезпечення, з урахуванням обмежень платформи та цінової доступності, а також ергономічних та вагових параметрів. У другому розділі розроблено алгоритм функціонування системи, який включає захоплення фото- або відеопотоку, детектування об’єктів та маркування рівня небезпеки. Проведено технічний аналіз впливу компонентів на характеристики дрона, що дозволило визначити ключові обмеження та рішення для ефективної роботи системи в польових умовах. У третьому розділі реалізовано програмне забезпечення із використанням фреймворку TensorFlow Lite та бібліотеки OpenCV, забезпечено підключення камери та розроблено Android-застосунок для обробки та виводу результатів, а також реалізовано архітектуру апаратного забезпечення, розташування компонентів відповідно до ценрту тяжіння РТС. У висновках підсумовано результати виконаної роботи, проаналізовано ефективність розробленої системи та сформульовано основні висновки на основі проведених досліджень. Due to the expanding range of applications of unmanned aerial vehicles (UAVs), particularly FPV drones, the demand for efficient autonomous monitoring systems is increasing. A key aspect of such systems is the ability to detect objects and obstacles in real time. Existing solutions often fail to meet requirements for cost, energy efficiency, and technical performance, highlighting the need for optimized hardware-software complexes employing modern computer vision technologies. The focus is placed on implementing a fast, stable, and energy-efficient communication channel between system components. This enables high-accuracy object recognition, reduces data transmission latency, and provides real-time information to the user. The use of a local wireless network and implementation of RTSP protocol improves system adaptability to various technical conditions. The object of the study is the process of data transmission between a microcomputer and a mobile device for subsequent processing and object detection in real time. The subject of the study is the methods and means of implementing an efficient communication channel between a Raspberry Pi and an Android device to ensure real-time object detection data transfer. The goal of the study is to develop an effective hardware-software solution for obstacle detection and operator coordination using the TensorFlow framework. The practical significance lies in implementing a stable transmission channel for images and detection results from the Raspberry Pi microcontroller to an Android device with minimal latency, thereby ensuring timely operator awareness. The use of the optimized TensorFlow Lite framework enables the integration of computer vision algorithms into resource-constrained systems. This bachelor’s thesis explanatory note consists of an introduction, three chapters, conclusions, a list of references, and 3 appendices. The introduction justifies the relevance of automated monitoring systems, defines the object and subject of the study, formulates the objectives and tasks of the work, and outlines the practical implementation of the research findings. Chapter one presents an analytical review of the subject area and existing detection systems. It also substantiates the selection of hardware and software components, taking into account platform limitations, cost-effectiveness, ergonomic and weight considerations. Chapter two outlines the system's functional algorithm, which includes image or video capture, object detection, and threat-level marking. A technical analysis of component influence on UAV performance was conducted, allowing the identification of key limitations and solutions for effective field deployment. Chapter three describes the software implementation using the TensorFlow Lite framework and OpenCV library. It includes camera integration and the development of an Android application for result processing and display, as well as implemented hardware architecture, component location according to the center of gravity of the RTS. The conclusions summarize the results of the thesis, evaluate the performance of the developed system, and formulate the key findings based on the research.