Дослідження шляхів підвищення продуктивності та ефективності автоматизованих методів оцінки знань

Abstract

Дана кваліфікаційна робота присвячена розробці комплексної системи для автоматизації процесу тестування знань в освітніх закладах. В контексті сучасних освітніх викликів, зокрема необхідності дистанційного навчання та індивідуалізації освітнього процесу, автоматизація тестування відіграє ключову роль у підвищенні ефективності та об'єктивності оцінювання знань студентів. Об’єкт: процеси підготовки, проведення та аналізу результатів тестувань в освітніх установах, зокрема в університетах та коледжах, де існує висока потреба в об’єктивному та ефективному оцінюванні знань студентів. Предмет: алгоритми штучного інтелекту, зокрема технології машинного навчання та обробки природної мови, які застосовуються для створення та оптимізації тестових завдань, а також методики аналізу даних, що дозволяють оцінювати ефективність тестів та адаптувати навчальний процес. Метою дослідження є створення інтегрованої системи автоматизованого тестування, яка використовує алгоритми штучного інтелекту для оптимізації процесу підготовки тестових завдань та аналізу їх ефективності. Система повинна надавати викладачам інструменти для гнучкого створення тестів, а також забезпечувати глибокий аналіз відповідей студентів для виявлення слабких місць у навчальному матеріалі та методиках викладання. У вступі викладається актульність теми, мета та поставлені завдання щодо реалізації застосунку. В першому розділі проводиться аналітичний огляд і обгрунтування теоретичних основ автоматизації оцінки знань. Описано предметну область, проведена класифікація тестових завдань. Також наданий огляд існуючих систем автоматизації тестування, таких як Moodle, Blackboard, Canvas і Google Forms. Розглянуто роль штучного інтелекту в процесі автоматизації тестування та методики підвищення ефективності тестування за допомогою аналітики. Завершується розділ специфікацією вимог до системи. У другому розділі представлено проєктування та моделювання системи автоматизації оцінки знань. Включено опис варіантів використання системи, сценаріїв її використання, діаграму станів, діаграму послідовності, концептуальну модель, діаграму розгортання, а також схему бази даних. Третій розділ зосереджено на архітектурі програмного забезпечення системи. Обговорюється вибір програмних засобів розробки, включаючи клієнтсерверну архітектуру та її роль у системах оцінки знань. Детально описано програмну реалізацію системи, включаючи ASP.NET Web API, Loosely Coupled Monolith, Entity Framework – ORM та міграції бази даних, а також фреймворк Angular. Також включено принципи та методики аналізу ефективності тестів та інтеграцію штучного інтелекту для оптимізації процесу створення тестів. Четвертий розділ присвячено огляду інтерфейсу та посібнику користувача системи. Представлено макети інтерфейсу, включаючи авторизацію, панель навігації, головну панель, панель створення тесту та статистики, розділ налаштувань, сторінку персональних тестів та результатів, а також сторінку глобального рейтингу. Також описано аналітику та допомогу користувачу засобами штучного інтелекту, включаючи сторінку ефективності тесту та рекомендації ШІ при проєктуванні тесту.У висновках проводиться аналіз роботи та отриманих результатів. КРМ викладена на 108 сторінок, містить 4 розділи, 38 ілюстрацій, 2 таблиці, 14 джерел в переліку посилань. This thesis project is dedicated to the development of a comprehensive system for automating the knowledge testing process in educational institutions. In the context of modern educational challenges, in particular the need for distance learning and individualization of the educational process, test automation plays a key role in improving the efficiency and objectivity of student assessment. Object: the processes of preparing, conducting and analyzing test results in educational institutions, including universities and colleges, where there is a high demand for objective and efficient assessment of students' knowledge. Subject: artificial intelligence algorithms, including machine learning and natural language processing technologies used to create and optimize test tasks, as well as data analysis techniques that allow to evaluate the effectiveness of tests and adapt the learning process. The aim of the study is to create an integrated automated testing system that uses artificial intelligence algorithms to optimize the process of preparing test tasks and analyzing their effectiveness. The system should provide teachers with tools for flexible test creation, as well as provide in-depth analysis of student responses to identify weaknesses in educational material and teaching methods. The introduction outlines the relevance of the topic, the objective, and the tasks set for the application's implementation. The first section provides an analytical review and justification of the theoretical foundations for automating knowledge assessment. The subject area is described, and a classification of test tasks is provided. An overview of existing testing automation systems such as Moodle, Blackboard, Canvas, and Google Forms is also given. The role of artificial intelligence in the automation of testing and methods for increasing testing efficiency through analytics are discussed. The section concludes with a specification of system requirements. The second section presents the design and modeling of the knowledge assessment automation system. It includes a description of the system's use cases, usage scenarios, state diagram, sequence diagram, conceptual model, deployment diagram, and database schema. The third section focuses on the software architecture of the system. It discusses the choice of software development tools, including the client-server architecture and its role in knowledge assessment systems. The software implementation of the system is detailed, including ASP.NET Web API, Loosely Coupled Monolith, Entity Framework - ORM, and database migrations, as well as the Angular framework. Also included are principles and techniques for analyzing test effectiveness and integrating artificial intelligence to optimize the test creation process. The fourth section is dedicated to reviewing the system's interface and user manual. It presents interface layouts, including authorization, navigation panel, main panel, test creation panel and statistics, settings section, personal tests and results page, and the global ranking page. It also describes analytics and AI-assisted user support, including the test efficiency page and AI recommendations in test design. The conclusions analyze the work and results obtained. The thesis is presented on 108 pages, contains 4 sections, 38 illustrations, 2 tables, and 14 sources in the reference list.