Нейромережева система семантичного аналізу та кластеризації для створення структури вебсайту

Abstract

Дана кваліфікаційна робота присвячена розробці нейромережевої системи для автоматизації створення структури вебсайтів на основі семантичного аналізу та кластеризації ключових слів. Основною метою є побудова ефективного інструменту, що дозволяє автоматично формувати ієрархічну структуру сайту, кластеризуючи ключові слова, отримані з пошукових систем. У роботі розглянуто сучасні методи збору та попередньої обробки даних, проведено аналіз існуючих архітектур нейронних мереж, що застосовуються для семантичного аналізу тексту. Особливу увагу приділено питанням розробки алгоритмів кластеризації, які забезпечують якісне групування ключових слів для подальшого формування логічної структури сайту. Реалізована система дозволяє отримати автоматизовані пропозиції щодо структури сторінок вебсайту, що спрощує роботу SEO-фахівців і розробників. У кваліфікаційній роботі проведено тестування розробленої системи на реальних наборах даних, що дозволило оцінити її ефективність і практичну цінність. Описані результати кластеризації, а також аналіз отриманих показників якості кластеризації. Об’єкт роботи – процеси автоматизованого створення структур вебсайтів на основі семантичного аналізу ключових слів. Предмет роботи – нейромережі для семантичного аналізу та алгоритми кластеризації текстових даних та підходи до автоматизованої побудови ієрархічних структур вебсайтів. Мета роботи – підвищення ефективності процесу створення структури вебсайту шляхом розробки нейромережевої системи семантичного аналізу і кластеризації текстових даних. This qualification thesis is dedicated to the development of a neural network-based system for automating the creation of website structures through semantic analysis and clustering of keywords. The primary objective is to design an effective tool that automatically generates a hierarchical website structure by clustering keywords obtained from search engines. The bachelor’s thesis considers modern methods of collecting and preprocessing data, and analyzes existing neural network architectures used for semantic text analysis. Special attention is paid to the choice and adaptation of clustering algorithms, which provide high-quality grouping of keywords for the further creation of a logical website structure. The developed system enables automated suggestions for structuring website pages, making the work of SEO specialists and developers easier. The qualification work presents testing of the developed system on real data sets, which made it possible to assess its efficiency and practical value. The results of clustering are described, as well as the analysis of the obtained clustering quality indicators. Object of the work – processes of automated creation of website structures based on semantic analysis of keywords. Subject of the work – neural networks for semantic analysis, clustering algorithms for textual data, and approaches to automated construction of hierarchical website structures. Purpose of the work – to increase the efficiency of the website structure creation process by developing a neural network system for semantic analysis and clustering of textual data.