Інтелектуальне прогнозування на основі багатошарових ансамблевих структур

Abstract

Актуальність. З розвитком новітніх технологій, як-от штучний інтелект та машинне навчання, питання інтелектуального прогнозування постає ще виразніше. Це пов’язано насамперед з тим, що точність і своєчасність прогнозів мають суттєве значення для прийняття рішень у численних сферах людської діяльності, наприклад, в економіці, медицині, екології, бізнесі, політиці тощо. А, отже, внаслідок такого прогресивного зростання попиту на інтелектуальне прогнозування, ця наукова галузь продовжує розвиватися, вдосконалюючись з кожною новою розробкою. Однак інтелектуальне прогнозування далеко не бездоганне. Безумовно, успішні приклади застосування галузі існують, втім, завжди є місце для підвищення результатів, що вона демонструє. Одна з таких необхідностей в покращенні виникає при створенні інтелектуальних систем прогнозування. Ці системи часто вимагають оптимізації під актуальні дані, методи та моделі, а їхні прогнози, відповідно, потребують вдосконалення. Потенційним розв’язком проблеми покращення таких систем можна вважати ансамблеві структури. Такі структури комбінують в собі декілька базових моделей прогнозування. Їхнє поєднання зменшує ризик недонавчання та перенавчання, пом’якшує компроміс між зміщенням та дисперсією. Чим кращий такий компроміс, тим стабільніше працює ансамбль, і тим точніше система прогнозує. Об’єктом роботи є процес інтелектуального прогнозування на основі багатошарових ансамблевих структур. Предмет роботи: методи, моделі інтелектуального аналізу даних, моделювання та прогнозування та їх комбінація в багатошарові ансамблеві структури в задачах прогнозування. Мета: підвищення ефективності прогнозування за допомогою багатошарових ансамблевих структур. В результаті виконання роботи було досліджено методи аналізу даних, регресійного та ансамблевого моделювання, прогнозування. Було проведено експериментальне дослідження їх ефективності на наборі даних, що дозволило визначити оптимальні комбінації моделей в ансамблях для підвищення точності прогнозів і пом’якшення компромісу між зміщенням та дисперсією. Дана робота складається зі вступу, чотирьох розділів, висновків та додатків. У першому розділі розглянуто теоретичні основи прогнозування. У другому розділі описано регресійний аналіз і ансамблеві методи для підвищення точності. У третьому розділі проведено розвідувальний аналіз даних і їх попередню обробку. У четвертому розділі реалізовано базові регресійні моделі, багатошарові ансамблеві структури на їх основі та оцінено їх ефективність. Загальний обсяг роботи – 114 сторінок. Кваліфікаційна робота містить 1 додаток, 80 рисунків, 5 таблиць і 57 джерел посилання. Relevance. With the development of new technologies, such as artificial intelligence and machine learning, the issue of intelligent forecasting is becoming even more important. This is primarily because the accuracy and timeliness of forecasts are essential for decision-making in numerous areas of human activity, such as economics, medicine, ecology, business, politics, etc. As a result of this progressive growth in demand for intelligent forecasting, this scientific field continues to evolve, improving with each new development. However, intelligent forecasting is far from perfect. While there are certainly successful examples of the industry's applications, there is always room for improvement in the results it demonstrates. One such need for improvement arises when creating intelligent forecasting systems. These systems often need to be optimized for up-to-date data, methods, and models, and their forecasts must be improved accordingly. Ensemble structures can be considered a potential solution to improving such systems. Such structures combine several basic forecasting models. Combining them reduces the risk of under- and overfitting and mitigates the trade-off between bias and variance. The better this trade-off is, the more stable the ensemble is and the more accurate the system is in its forecasting. The object of the work is the process of intelligent forecasting based on multilayer ensemble structures. The subject of the work: methods, data mining, modeling, forecasting models, and their combination into multilayer ensemble structures in forecasting tasks. The purpose: is to improve the efficiency of forecasting using multilayer ensemble structures. As a result of the work, the methods of data analysis, regression, ensemble modeling, and forecasting were investigated. An experimental study of their effectiveness on a dataset was conducted, which allowed to determine the optimal combinations of models in ensembles to improve forecast accuracy and mitigate the trade-off between bias and variance. This paper includes an introduction, four chapters, conclusions, and appendices. The first chapter discusses the theoretical foundations of forecasting. The second chapter describes regression analysis and ensemble methods for improving accuracy. The third chapter describes exploratory data analysis and data preprocessing. The fourth chapter implements basic regression models, and multilayer ensemble structures based on them, and evaluates their effectiveness.