Створення інструменту для автоматизованого парсингу сайтів на основі технології node.js

Abstract

Бакалаврська кваліфікаційна робота на здобуття освітньої кваліфікації «бакалавр з комп’ютерних наук» в галузі знань 12 «Інформаційні технології» за спеціальністю 122 «Комп’ютерні науки». Чорноморський національний університет імені Петра Могили, Миколаїв. Об’єктом дослідження даної роботи є функціональна система парсингу сайтів з можливістю збереження та обробки зібраних даних. Предметом дослідження є системи збору інформації у мережі інтернет та системи керування збереженням та аналізом зібраної інформації. Метою даної роботи є дослідження наявних методів для збирання та зберігання великих об’ємів даних, пошук способів розробки програмного забезпечення для реалізації обраних методів. Результатом є створена система парсингу сайту Reddit, а також чат-бот для взаємодії системи з користувачем. Методи дослідження ґрунтуються на сфері аналізу документів у форматі XML та методах збору, обробки та аналізу даних. Дипломна робота має 3 розділи: аналіз предметної сфери, об’єкту та предмету дослідження. Постановка задачі: розв’язання задачі автоматизованого збору слабоструктурованих даних; створення парсера з використанням модуля Nightmare та чат-бота для месенджера телеграм. В першому розділі проводиться огляд та аналіз сфери автоматизованого парсингу сайтів, пошук існуючих і функціональних аналогів, котрі дадуть можливість краще зрозуміти сферу парсинг, для розроблення власної системи. В другому розділі проводиться підбір системного та технічного забезпечення, проводиться порівняльний аналіз існуючих варіантів для вибору кращого інструменту реалізації. У третьому розділі описується процес розробки та створення системи парсингу та чат-бота, проводиться аналіз роботи системи. Бакалаврська кваліфікаційна робота містить сторінок – 78, рисунків – 26, таблиць – 4, додатків – 3, джерел – 21.