Інтелектуальна система рекомендацій музичних композицій на основі аналізу гармонічної структури

Abstract

Актуальність даної роботи полягає у необхідності розробки музичної рекомендаційної системи, яка працює без поведінкових даних користувачів, вирішує проблему «холодного старту» та забезпечує точність рекомендацій на основі об'єктивних акустичних і семантичних ознак. Об'єктом роботи є процес автоматичного формування персоналізованих музичних рекомендацій. Предметом роботи є методи контентного аналізу звукових сигналів та обробки природної мови в задачах музичної рекомендації. Метою роботи є розробка інтелектуальної системи рекомендацій музичних композицій на основі контентно-гармонічного аналізу, що поєднує акустичні характеристики аудіосигналу та семантичний аналіз тексту пісень. В результаті виконання роботи було розроблено та навчено ансамбль моделей глибокого навчання для класифікації акустичних ознак, інтегровано моделі Whisper та DistilBERT для аналізу семантики текстів пісень, а також реалізовано алгоритм мультисигнального ранжування. Дана робота складається з вступу, чотирьох розділів, висновків та додатків. У розділах проведено огляд аналогів, досліджено математичні моделі та описано програмну реалізацію з результатами тестування. Загальний обсяг роботи — 85 сторінок. Кваліфікаційна робота містить 5 додатків, 25 рисунків, 6 таблиць і 33 джерела посилання. A relevance of this work lies in the need to develop a music recommendation system that operates without user behavioral data, resolves the "cold start" problem, and provides high-accuracy recommendations based on objective acoustic and semantic characteristics of songs. An object of the work is the process of automatic generation of personalized music recommendations. A subject of the work is the methods of audio signal content analysis and natural language processing in music recommendation tasks. A purpose of the work is to develop an intelligent music recommendation system based on content-harmonic analysis that combines acoustic characteristics of the audio signal and semantic analysis of song lyrics. As a result of the work, an ensemble of deep learning models was developed and trained to classify acoustic features, Whisper and DistilBERT models were integrated for lyrics semantics analysis, and a multi-signal ranking algorithm was implemented. This work consists of an introduction, four sections, conclusions, and applications. The sections review existing analogs, study mathematical models and methods, and describe the software implementation with testing results. The overall scope of the work is 85 pages. Thesis contains 5 applications, 25 figures, 6 tables and 33 references in it.