Исследователи проанализировали эффективность метода Монте-Карло (MC) Dropout для оценки неопределенности моделей при сегментации опухолей головного мозга на МРТ-снимках. Традиционные метрики, такие как коэффициент Дайса, часто не способны выявить критические ошибки в работе алгоритмов, что создает риски для безопасности пациентов при планировании лечения. Авторы работы поставили под сомнение способность текущих методов оценки уверенности модели на уровне отдельных вокселей предсказывать реальные сбои в сегментации.
В ходе эксперимента выяснилось, что высокая уверенность модели в своих прогнозах не всегда коррелирует с их фактической точностью. В клинически значимых областях, где ошибки могут привести к неверной тактике лечения, стандартные подходы к оценке неопределенности показывают ограниченную надежность. Это подчеркивает необходимость разработки более строгих методов валидации для систем компьютерного зрения, используемых в медицине.
Результаты исследования указывают на то, что существующие методы оценки качества сегментации требуют пересмотра. Для внедрения ИИ в клиническую практику недостаточно полагаться только на статистические показатели совпадения областей. Требуются механизмы, которые способны сигнализировать о потенциальных ошибках в тех зонах, где точность модели критически важна для здоровья пациента.