Аналіз тональності коментарів з використанням машинного навчання

Abstract

Актуальність даного дослідження полягає у необхідності підвищення точності пошуку спаму. Багато відвідувачів інтернет-магазинів дивляться на відгуки до товару перед покупкою, а користувачі відеохостингів часто орієнтуються на коментарі перед переглядом. Особливо сильно зросла кількість спам-коментарі під час повномасштабного вторгнення, коли ворог за допомогою ботів намагається посіяти паніку та заспамити Інтернет простір. Часто такі коментарі відрізняються за емоційним забарвленням від звичайних, тому існує сенс використовувати аналіз тональності для їх виявлення. Об’єктом дослідження є процеси організації визначення тональності коментарів. Предметом дослідження є методи організації визначення тональності коментарів. Метою роботи є покращення якості пошуку спаму за допомогою визначення тональності коментарів з використанням машинного навчання. В результаті виконання роботи було розроблено рекурентну нейрону мережу для визначення тональності коментарів. Дана нейрона мережа була використана для визначення спаму, що дало приріст точності з 88% до 93% для методу наївного байєсівського класифікатора та з 91% до 96% для методу випадкового лісу. Дана робота складається з шести розділів. Кожен розділ відповідно присвячений: аналізу предметної області, нейромережам та LSTM, проектуванню та навчанню нейромережі для аналізу тональності, використанню створеної нейромережі для оптимізації пошуку спаму, охороні праці, методичній частині МКР. Загальний обсяг роботи – 111 сторінки. Магістерська кваліфікаційна робота містить три додатки, 49 рисунків, 6 таблиць і посилання на 55 літературних джерел. A relevance of this study lies in the need to improve the accuracy of spam detection. Many visitors of online stores look at product reviews before making a purchase, such as users of video hosting providers are often look at reviews before watching a video. The number of spam comments increased especially strongly during a full-scale invasion, when the enemy use bots to sow panic and spam the Internet. Very often such spam comments have different emotional color from ordinary ones, so it makes sense to use sentiment analysis to detect them. An object of research is the process of organizing the determination of the sentiment analysis. A subject of the research is the methods of organizing sentiment analysis of comments. A purpose of the study is to improve the quality of spam detection using sentiment analysis of comments, with usage of machine learning. As a result of the work, a recurrent neural network was developed to determine sentiment analysis of comments. This neural network was used to detect spam, which gave an increase in accuracy from 88% to 93% for the naive Bayesian classifier method and from 91% to 96% for the random forest method. This work consists of six chapters. Each of them is devoted to: analysis of the subject area, neural networks and LSTM, design and training of a neural network for sentiment analysis, usage of this neural network to optimize the spam detection, labor protection and life safety, methodological part of the master's work. The overall scope of the work is 111 pages. Thesis contains 3 applications, 49 figures, 6 tables and 55 sources in it.