Інформаційна система обробки слабоструктурованих даних на основі Scrapy

Abstract

Дипломна робота на здобуття освітньої кваліфікації «бакалавр комп’ютерних наук та інформаційних технологій» в галузі знань 12 «Інформаційні технології» за спеціальністю 122 «Комп’ютерні науки та інформаційні технології» Чорноморський національний університет імені Петра Могили, Миколаїв У світі в наш час способи розв'язання задачі збирання та обробки великих об’ємів даних мають великий попит та є досить популярними для вивчення та розвитку. Одним з об’єктів для масового збирання та аналізу інформації стала соціальна мережа Твіттер. Таким чином, розробка та застосування системи для зручного пошуку та збирання інформації з веб ресурсу Твіттер нині є актуальною. Метою даної роботи є дослідження наявних методів для збирання та зберігання великих об’ємів слабоструктурованих даних, пошук способів розробки програмного забезпечення для реалізації обраних методів. Результатами роботи є створення системи, яка містить в собі реалізацію обраного методу збору даних, сховище для зберігання зібраних даних та має зручний інтерфейс для роботи. Предметом дослідження даної дипломної роботи є сфери парсингу сайтів із використанням фреймворку Scrapy та зберігання й роботи з великими об’ємами даних з використанням нереляційних баз даних. Методи дослідження ґрунтуються на сфері аналізу документів у форматі XML та методах аналізу слабоструктурованих даних. Досягнення поставленої мети вимагає розв’язання наступних задач: 1. Пошук, порівняння та вивчення сучасних методів веб скрапінгу та додаткових технологій; 2. Визначення параметрів для створення інформаційної системи; 3. Розробка оригінальної архітектури та реалізація комп’ютерної системи згідно з визначеними вимогами; Дипломна робота містить наступні розділи: “Аналіз сфери автоматизованого парсингу даних. Постановка задачі”, “Технології для розв'язання задач зі збору та зберігання великих об’ємів слабоструктурованих даних”, “Створення парсера з використанням фреймворку Scrapy”. Дипломна робота містить 79 сторінок, 7 рисунків, 4 таблиці, 3 додатки. Було використано 14 джерел.