Інформаційна система для аналізу контенту та виявлення тенденцій у соціальних мережах

Abstract

Актуальність роботи: в умовах постійного зростання популярності соціальних мереж виникають серйозні проблеми, такі як мова ненависті, кібербулінг і дезінформація, що створюють ризики для користувачів та підривають довіру до платформ. Ефективне виявлення цих негативних явищ є необхідним для забезпечення безпечного середовища в соціальних мережах. Об'єкт роботи – процес аналізу контенту в соціальних мережах для виявлення негативних тенденцій. Предмет роботи – інформаційна система, що розроблена для автоматизованого аналізу контенту з використанням методів обробки природної мови та аналізу настроїв. Метою роботи є дослідження ефективних методів для виявлення негативних явищ, таких як мова ненависті, та розробка алгоритмів для їх автоматизованого виявлення. Основний текст кваліфікаційної роботи складається зі вступу, чотирьох розділів, висновків та додатків. У першому розділі розглядаються проблеми негативного контенту в соціальних мережах та методи їх виявлення. У другому розділі розглядаються етичні та правові аспекти виявлення негативного контенту в соціальних мережах. Третій розділ присвячений методам і моделям, які використовуються для автоматизованого аналізу текстових даних. В даному розділі детально описуються основні алгоритми для класифікації текстів, зокрема на основі методів машинного навчання та аналізу настроїв. Описано використання бібліотек та інструментів, таких як VADER (для аналізу настроїв), PRAW (для збору даних з Reddit), а також інших платформ, які використовуються для автоматичного збору даних з соціальних мереж, їх аналізу та виявлення токсичних або ненавистних висловлювань. Також розглянуто можливості використання глибокого навчання (наприклад, моделей BERT) для точнішого розпізнавання емоційного тону та токсичних коментарів. Четвертий розділ присвячений проєктуванню та реалізації інформаційної системи для автоматизованого аналізу контенту в соціальних мережах. Структура системи включає кілька основних компонентів: збір даних через API Reddit за допомогою бібліотеки PRAW, аналіз настроїв коментарів із застосуванням методів VADER, TextBlob та BERT, визначення hate speech за допомогою моделі Toxic BERT, а також фільтрація коментарів за настроєм і кількістю лайків для уточнення результатів. Для візуалізації даних використовується бібліотека matplotlib, що дозволяє виводити графіки розподілу настроїв у реальному часі. Система інтегрує ці компоненти в єдину платформу, що забезпечує автоматизований збір, обробку, аналіз та візуалізацію результатів, дозволяючи користувачам ефективно відслідковувати негативні тенденції в онлайнових обговореннях. Магістерська кваліфікаційна робота містить 100 сторінок, 48 рисунків, 1 таблицю , 45 використаних джерел та 1 додаток. Relevance of work: with the continuous growth in the popularity of social networks, serious issues such as hate speech, cyberbullying, and disinformation arise, which create risks for users and undermine trust in platforms. The effective detection of these negative phenomena is crucial for ensuring a safe environment on social networks. The object of the work is the process of content analysis in social networks for detecting negative trends. The subject of the work is an information system designed for automated content analysis using natural language processing methods, sentiment analysis. The purpose of the work is to investigate effective methods for detecting negative phenomena, such as hate speech, cyberbullying, and disinformation, and to develop algorithms for their automated detection. The main text of the qualification work consists of an introduction, four chapters, conclusions, and appendices. In the first chapter, the issues of negative content in social networks and methods for detecting such content are examined. The second section examines the ethical and legal aspects of identifying negative content on social media. The third chapter is devoted to methods and models used for automated text data analysis. This section describes in detail the main algorithms for text classification, including those based on machine learning and sentiment analysis. The chapter describes the use of libraries and tools such as VADER (for sentiment analysis), PRAW (for collecting data from Reddit), and other platforms used to automatically collect data from social media, analyze it, and identify toxic or hateful statements. The possibilities of using deep learning (e.g., BERT models) to more accurately recognize emotional tone and toxic comments are also considered. The fourth chapter is devoted to the design and implementation of an information system for automated content analysis on social media. The architecture of the system includes several main components: data collection via the Reddit API using the PRAW library, analysis of comment sentiment using VADER, TextBlob, and BERT methods, hate speech detection using the Toxic BERT model, and filtering comments by sentiment and number of likes to refine the results. For data visualization, the matplotlib library is used, which allows you to display graphs of sentiment distribution in real time. The system integrates these components into a single platform that provides automated collection, processing, analysis, and visualization of results, allowing users to effectively monitor negative trends in online discussions. The master's qualification work contains 99 pages, 48 figures, 1 table, 45 references, and 1 appendix.