Исследователи представили ScaFE — метод классификации келоидных и гипертрофических рубцов по фотографиям, решающий проблему нехватки размеченных данных. Вместо обучения тяжелых end-to-end моделей, система использует LLM для генерации программ, которые извлекают клинические признаки из изображений. Это позволяет достичь высокой точности при ограниченной выборке и соблюсти требования безопасности данных, исключая передачу снимков во внешние облачные VLM.
Традиционные подходы к анализу медицинских изображений требуют огромных массивов данных, которые сложно собрать из-за различий в протоколах съемки в разных клиниках. ScaFE меняет парадигму: вместо того чтобы заставлять нейросеть «учить» визуальные особенности с нуля, система использует LLM для написания кода, который выполняет конкретные операции обработки изображений. Это делает процесс принятия решений прозрачным и интерпретируемым для врачей.
Такой подход позволяет локально обрабатывать конфиденциальную информацию, что критически важно для медицинских учреждений. Метод демонстрирует устойчивость к вариативности качества снимков и освещения, что часто становится препятствием для внедрения ИИ в клиническую практику. Использование программного подхода к извлечению признаков снижает зависимость от дорогостоящей ручной разметки экспертами-дерматологами.
Ключевые факты
- ScaFE использует LLM для генерации программ обработки изображений, что исключает необходимость отправки данных во внешние облачные сервисы.
- Метод направлен на классификацию келоидных и гипертрофических рубцов, где визуальные различия минимальны, а доступ к экспертной разметке ограничен.
- Архитектура позволяет обходить проблему «черного ящика» end-to-end моделей, предоставляя интерпретируемые клинические признаки.
- Система демонстрирует высокую эффективность в условиях неоднородности данных, полученных из разных медицинских центров.