Розробка методу оцінки глибини двовимірного зображення з використанням комп’ютерного зору

Abstract

Мета цієї кваліфікаційної роботи полягає у розробці вебдодатку для оцінювання глибини зображень останньою версією моделі глибокого навчання сімейства Depth Anything, інтегрованого з великою мовно-візуальною моделлю SpatialBot [23] (LVLM) для забезпечення функціональності "DepthGPT". Основні завдання включають створення бекенд-сервісу на базі FastAPI, інтегрованим з моделями Depth Anything, яка генерує карту глибини двовимірного зображення, та SpatialBot [23], який відповідає за аналіз зображень та генерацію текстових відповідей на основі отриманих глибинних мап, розробку фронтенд-інтерфейсу з використанням сучасних вебтехнологій бібліотеки React. Об'єктом дослідження є системи машинного навчання та вебтехнології. Предметом – інтеграція комп'ютерного зору з обробкою природної мови для створення інтерактивних додатків. Основні результати роботи включають успішну реалізацію двох основних компонентів системи: бекенд-сервісу, фронтенд-інтерфейсу. Для забезпечення ефективного розгортання та масштабованості застосовано контейнеризацію за допомогою Docker та Docker Compose, що дозволяє легко управляти залежностями та середовищем виконання кожного сервісу. Особлива увага приділена інтеграції GPU для прискорення обчислень моделі. Проведені тести підтвердили ефективність системи у завданні оцінювання глибини зображень та взаємодії з користувачем через чат-інтерфейс, демонструючи високий рівень точності та швидкодії. Робота складається з 82 сторінок, містить 16 рисунків, 2 таблиці та 37 джерел посилання. The aim of this qualification work is to develop a web application for image depth estimation using the latest version of the Depth Anything deep learning model, integrated with the Large Language and Vision Model (LVLM) SpatialBot to provide the "DepthGPT" functionality. The primary tasks include creating a backend service based on FastAPI, integrated with Depth Anything models that generate depth maps of two-dimensional images, and SpatialBot, which is responsible for image analysis and generating textual responses based on the obtained depth maps. Additionally, it involves developing a frontend interface using modern web technologies from the React library. The object of study encompasses machine learning systems and web technologies. The subject focuses on the integration of computer vision with natural language processing to create interactive applications. The main outcomes of the work include the successful implementation of two core components of the system: the backend service and the frontend interface. To ensure efficient deployment and scalability, containerization using Docker and Docker Compose was employed, allowing easy management of dependencies and runtime environments for each service. Special attention was given to GPU integration to accelerate model computations. Conducted tests confirmed the system's effectiveness in image depth estimation tasks and user interaction through the chat interface, demonstrating a high level of accuracy and performance. The work consists of 82 pages, contains 16 figures, 2 tables, and 37 references.