Генерація синтетичних рентгенівських знімків на основі текстових описів із використанням нейронних мереж

Abstract

Актуальність роботи зумовлена зростаючим використанням методів штучного інтелекту в медичній візуалізації та водночас обмеженою доступністю якісних і збалансованих наборів рентгенівських знімків. Етичні, правові та організаційні обмеження ускладнюють збір і поширення клінічних даних, що негативно впливає на навчання та узагальнювальну здатність діагностичних моделей. У цьому контексті генерація синтетичних рентгенівських зображень на основі текстових описів розглядається як перспективний підхід до розширення медичних датасетів, збереження приватності пацієнтів і моделювання рідкісних патологічних станів. Об’єкт – процес генерації синтетичних рентгенівських зображень грудної клітки на основі текстових описів. Предмет – методи та засоби адаптації глибоких генеративних моделей (зокрема архітектури SDXL) для синтезу анатомічно коректних медичних зображень. Метою роботи є підвищення якості генерації синтетичних медичних даних шляхом розробки та програмної реалізації інтелектуальної системи на базі донавчання моделі Stable Diffusion XL з використанням адаптерів LoRA та попередньої обробки текстових описів. У ході виконання роботи було проведено дослідження сучасних методів генерації медичних зображень і реалізовано інтелектуальну систему для синтезу рентгенівських знімків грудної клітки, яка забезпечує формування текстових запитів, керування параметрами генерації та створення синтетичних зображень із вбудованими метаданими. Особливу увагу приділено аналізу та очищенню текстових описів, що використовуються для навчання моделі, а також структуризації клінічних ознак на рівні окремих знімків. Реалізовано підхід до донавчання дифузійної моделі Stable Diffusion XL із використанням адаптерів LoRA, що дозволило зосередити модель на відтворенні вузькоспеціалізованих патологічних ознак. Relevance of the study is determined by the growing use of artificial intelligence methods in medical imaging and, at the same time, by the limited availability of high-quality and balanced datasets of chest X-ray images. Ethical, legal, and organizational constraints complicate the collection and dissemination of clinical data, which negatively affects the training and generalization capabilities of diagnostic models. In this context, the generation of synthetic chest X-ray images based on textual descriptions is considered a promising approach for expanding medical datasets, preserving patient privacy, and modeling rare pathological conditions. Object – the process of generating synthetic chest X-ray images based on textual descriptions. Subject – methods and tools for adapting deep generative models (in particular, the SDXL architecture) for the synthesis of anatomically correct medical images. The purpose of the study is to improve the quality of synthetic medical data generation through the development and software implementation of an intelligent system based on fine-tuning the Stable Diffusion XL model using LoRA adapters and preprocessing of textual descriptions. During the study, modern methods for medical image generation were investigated, and an intelligent system for synthesizing chest X-ray images was developed. The system provides functionality for forming textual prompts, controlling generation parameters, and producing synthetic X-ray images with embedded metadata. Special attention was paid to the analysis and cleaning of textual descriptions used for model training, as well as to the structuring of clinical features at the level of individual images. A fine-tuning approach for the Stable Diffusion XL diffusion model using LoRA adapters was implemented, enabling the model to focus on reproducing narrowly specialized pathological features.