Інтегрована система для навчання агентів unity ml agents з використанням моделей глибоких нейронних мереж

Abstract

Актуальність даного дослідження полягає у швидкості розвитку штучного інтелекту та його застосування в різних галузях, навчання агентів, здатних до автономного прийняття рішень у складних динамічних середовищах, стає дедалі важливішим. Unity ML-Agents надає інструменти для розробки таких агентів у віртуальних середовищах, що широко використовуються в ігровій індустрії, симуляціях та дослідженнях. Використання глибоких нейронних мереж для навчання агентів значно підвищує їхню здатність до адаптації та оптимізації поведінки, що робить це дослідження актуальним для покращення систем автоматизації, моделювання та прийняття рішень. Об’єктом дослідження є процес навчання агентів в середовищі Unity ML-Agents з використанням глибоких нейронних мереж. Предметом дослідження є інтегрована система для навчання агентів у Unity ML-Agents, що включає застосування моделей глибокого навчання та алгоритмів підкріплювального навчання. Метою дослідження є створення інтегрованої системи для ефективного навчання агентів в середовищі Unity ML-Agents, що використовує глибокі нейронні мережі, а також оцінка продуктивності агентів в різних сценаріях та задачах. В результаті виконання роботи було досліджено архітектуру та процеси Unity ML-агентів, підкреслено інтеграцію середовищ моделювання Unity з алгоритмами навчання з підкріпленням через надійну комунікаційну структуру. Конвеєр навчання, що використовує проксимальну оптимізацію політики, дозволив розробити інтелектуальних агентів, здатних вивчати складну поведінку через ітеративну взаємодію з навколишнім середовищем. Дана робота складається з чотирьох розділів. Кожен розділ відповідно присвячений: аналізу предметної області; встановленню віртуального простору і його підключення до MLAgents; підготовці області навчання та налаштування базових параметрів і навчання самих агентів; аналізу отриманих результатів. Загальний обсяг роботи – 77 сторінок. Кваліфікаційна робота містить 6 додатків, 24 рисунки, 1 таблицю і 45 джерел посилання. The relevance of this research lies in the speed of development of artificial intelligence and its application in various fields, the training of agents capable of autonomous decision–making in complex dynamic environments is becoming increasingly important. Unity ML-Agents provides tools for developing such agents in virtual environments widely used in the gaming industry, simulations, and research. Using deep neural networks to train agents significantly increases their ability to adapt and optimize behavior, making this research relevant for improving automation, simulation, and decision-making systems. The object of the study is the process of training agents in the Unity ML-Agents environment using deep neural networks. The subject of research is the development of an integrated system for training agents in Unity ML-Agents, which includes the application of deep learning models and reinforcement learning algorithms. The purpose of the research is to create an integrated system for effective training of agents in the Unity ML-Agents environment, which uses deep neural networks, as well as to evaluate the performance of agents in various scenarios and tasks. As a result of the work, the architecture and processes of Unity ML agents were investigated, emphasizing the integration of Unity modeling environments with reinforcement learning algorithms through a robust communication structure. The learning pipeline using proximal policy optimization allowed the development of intelligent agents capable of learning complex behaviors through iterative interaction with the environment. This paper consists of four chapters. Each chapter is devoted to: analyzing the subject area; setting up the virtual space and connecting it to MLAgents; preparing the training area and setting up the basic parameters and training the agents themselves; and analyzing the results. The total volume of the work is 77 pages. The qualification work contains 6 appendices, 22 figures, 1 table and 45 references.