Застосування RAG-технології в агентних LLM-системах

Abstract

Стрімкий розвиток великих мовних моделей (LLM) відкрив нові перспективи для автоматизації інтелектуальних задач. Проте, суттєвим обмеженням стандартних LLM є галюцинації та відсутність доступу до актуальних або приватних даних. Інтеграція технології Retrieval-Augmented Generation (RAG) у мультиагентні системи дозволяє вирішити ці проблеми, забезпечуючи агентів контекстуальними знаннями для прийняття обґрунтованих рішень. Об'єкт роботи – процеси взаємодії та обміну інформацією в інтелектуальних мультиагентних системах, побудованих на базі великих мовних моделей. Предмет роботи – методи та засоби підвищення точності генерації відповідей агентів шляхом застосування технології RAG (Retrieval-Augmented Generation) та векторного пошуку в розподілених архітектурах. Метою роботи є розробка та програмна реалізація платформи для оркестрації агентних систем, що використовує гібридний підхід до пошуку інформації (RAG) для підвищення релевантності та фактичної точності роботи інтелектуальних агентів при вирішенні бізнес-задач. Пояснювальна записка складається зі вступу, чотирьох розділів, висновків та додатків. У першому розділі проведено аналіз сучасного стану технологій NLP, розглянуто архітектуру трансформерів та принципи роботи RAG. Виконано огляд існуючих рішень для побудови агентних систем та обґрунтовано доцільність створення власної платформи з підтримкою динамічних баз знань. У другому розділі спроєктовано архітектуру системи, що базується на мікросервісному підході. Описано структуру векторних сховищ, механізми індексації документів (Chunking, Embedding) та алгоритми семантичного пошуку. У третьому розділі розроблено архітектуру системи на основі мікросервісів. Спроєктовано схеми баз даних для зберігання векторних ембедингів та логіки агентів. Проведено дослідження ефективності запропонованого RAG-підходу та проаналізовано отримані результати роботи системи на тестових сценаріях. У четвертому розділі наведено детальний опис розробки програмних модулів платформи. Описано реалізацію механізмів контейнеризації Docker. У результаті створено інтелектуальну систему, яка дозволяє конструювати складні агентні ланцюжки з можливістю додавання релевантних даних із зовнішніх документів, що забезпечує високу гнучкість та точність виконання завдань. The rapid development of large language models (LLM) has opened up new prospects for the automation of intelligent tasks. However, a significant limitation of standard LLMs is hallucinations and lack of access to current or private data. Integration of Retrieval-Augmented Generation (RAG) technology into multi-agent systems allows us to solve these problems, providing agents with contextual knowledge for making informed decisions. Object of the research is the processes of interaction and information exchange in intelligent multi-agent systems built on the basis of large language models. Subject of the research is methods and means of increasing the accuracy of agent response generation by applying RAG (Retrieval-Augmented Generation) technology and vector search in distributed architectures. The purpose of the research is to develop and programmatically implement a platform for orchestrating agent systems that uses a hybrid approach to information retrieval (RAG) to increase the relevance and actual accuracy of the work of intelligent agents in solving business problems. The explanatory note consists of an introduction, four sections, conclusions and appendices. The first section analyzes the current state of NLP technologies, considers the architecture of transformers and the principles of RAG operation. An overview of existing solutions for building agent systems is provided and the feasibility of creating our own platform with support for dynamic knowledge bases is substantiated. The second section designs the architecture of the system based on the microservices approach. The structure of vector storages, document indexing mechanisms (Chunking, Embedding) and semantic search algorithms are described. The third section develops the architecture of the system based on microservices. Database schemes for storing vector embeddings and agent logic are designed. The effectiveness of the proposed RAG approach is studied and the results of the system operation on test scenarios are analyzed. The fourth section provides a detailed description of the development of the platform software modules. The implementation of Docker containerization mechanisms solution are described. As a result, an intelligent system was created that allows you to construct complex agent chains with the ability to add relevant data from external documents, which provides high flexibility and accuracy of task performance.