Інформаційна система вебскрепінгу на основі використання MCP-протоколу

Abstract

Актуальність роботи полягає у необхідності автоматизації збору даних із веб-ресурсів та інтеграції мовних моделей із зовнішніми інструментами за допомогою MCP-протоколу. Це дозволяє створювати гнучкі інформаційні системи для отримання, обробки та передавання структурованих даних агенту. Об’єктом роботи є процес автоматизованого збору та структуризації даних із веб-ресурсів. Предметом роботи є методи та програмні засоби реалізації інформаційної системи вебскрапінгу на основі MCP-протоколу. Метою роботи є розробка інформаційної системи вебскрапінгу на основі MCP-протоколу та дослідження можливостей його використання для автоматизованого збору даних із веб-ресурсів. У результаті виконання роботи було досліджено теоретичні основи Model Context Protocol, сучасні методи вебскрапінгу та засоби інтеграції Python із MCP. Розроблено інформаційну систему для автоматизованого збору вакансій із сайтів Work.ua та Djinni, яка забезпечує виконання HTTP-запитів, парсинг HTML-структур, фільтрацію даних і передавання результатів агенту через стандарт MCP. Дана робота складається з чотирьох розділів. У першому розділі розглянуто предметну область, підходи до вебскрапінгу та MCP-протокол. У другому розділі визначено вимоги до системи й описано її архітектуру. У третьому розділі наведено програмну реалізацію MCP-сервера та модулів збору вакансій. У четвертому розділі проведено тестування, аналіз результатів і визначено обмеження системи. Загальний обсяг роботи – 100 сторінок. Кваліфікаційна робота містить 6 додатків, 15 рисунків, 23 таблиці і 41 джерело у списку використаних джерел. The relevance of this work lies in the need to automate data collection from web resources and integrate language models with external tools using the MCP protocol. The object of the work is the process of automated collection and structuring of data from web resources. The subject of the work is the methods and software tools for implementing a web scraping information system based on the MCP protocol. The purpose of the work is to develop a web scraping information system based on the MCP protocol and to study the possibilities of its use for automated data collection from web resources. As a result of the work, the theoretical foundations of Model Context Protocol, modern web scraping methods, and Python integration tools with MCP were studied. An information system for automated collection of vacancies from Work.ua and Djinni was developed. The system provides HTTP request processing, HTML structure parsing, data filtering, and transfer of results to the agent through the MCP standard. This work consists of four sections. The first section analyzes the subject area, web scraping approaches, and the MCP protocol. The second section defines the system requirements and describes its architecture. The third section presents the implementation of the MCP server and vacancy collection modules. The fourth section presents testing, analysis of results, and system limitations. The overall scope of the work is 100 pages. The thesis contains 6 appendices, 15 figures, 23 tables, and 41 references.