Новый бенчмарк RadLE 2.0 показал, что современные ИИ-модели, анализирующие рентгеновские снимки, часто демонстрируют высокую уверенность в ошибочных диагнозах. Исследование подчеркивает критическую проблему: нейросети пока не способны адекватно оценивать границы своей компетенции и передавать сложные случаи врачам. В текущем состоянии ИИ-системы значительно уступают профессиональным радиологам в точности и способности к самокритике при постановке медицинских заключений.
Основная опасность заключается в склонности моделей к «галлюцинациям» с высокой степенью уверенности, что может привести к неверным клиническим решениям. Разработчики отмечают, что для внедрения ИИ в медицину недостаточно просто повысить точность распознавания образов. Модели должны научиться распознавать ситуации, в которых данных недостаточно для постановки диагноза, и воздерживаться от категоричных суждений, если вероятность ошибки высока.
Исследование акцентирует внимание на необходимости внедрения механизмов калибровки уверенности (confidence calibration) в медицинские ИИ-системы. Без способности модели признавать свою неуверенность, автоматизация диагностики остается рискованной. На данный момент человеческий контроль остается обязательным условием, так как ИИ не обладает достаточной осторожностью при интерпретации неоднозначных медицинских изображений.
Ключевые факты
- RadLE 2.0 — специализированный бенчмарк для оценки способности ИИ-моделей в радиологии определять границы своей компетентности.
- Исследование подтвердило, что модели склонны выдавать неверные диагнозы с высокой степенью уверенности, вводя врачей в заблуждение.
- Профессиональные радиологи показывают значительно более высокие результаты в точности диагностики и оценке сложности клинических случаев по сравнению с ИИ.
- Ключевым требованием для будущих медицинских систем названо обучение моделей «отказу от ответа» в сомнительных ситуациях.