Исследователи представили MedFailBench — открытый бенчмарк для анализа критических ошибок медицинских ИИ-моделей. В отличие от стандартных тестов на точность ответов, этот инструмент фокусируется на выявлении границ безопасности. Набор данных, созданный практикующими врачами, классифицирует ошибки по уровням тяжести и типам нарушений, помогая разработчикам понять, в каких именно клинических сценариях модель ведет себя небезопасно.
Бенчмарк включает «атлас отказов», который систематизирует типичные сбои ИИ в медицине, такие как пропуск необходимости срочной госпитализации, рекомендации по небезопасным дозировкам или фабрикация доказательств. Такой подход позволяет проводить стресс-тестирование систем в условиях, максимально приближенных к реальной клинической практике, где цена ошибки ИИ может быть критической для жизни пациента.
Система классификации ошибок охватывает широкий спектр рисков: от неверных рекомендаций по выписке до игнорирования симптомов, требующих немедленного вмешательства. Использование MedFailBench дает возможность разработчикам медицинского ПО проводить более глубокий аудит моделей на этапе валидации, выявляя уязвимости, которые не фиксируются традиционными метриками точности.
Ключевые факты
- MedFailBench содержит классификацию ошибок по 5 уровням тяжести.
- В бенчмарк включены специфические категории сбоев: пропуск срочной эскалации, небезопасное удаленное дозирование и фабрикация медицинских данных.
- Инструмент разработан практикующими врачами для оценки безопасности моделей в реальных клинических условиях.
- Бенчмарк является открытым исходным кодом и предназначен для выявления границ безопасности медицинских ИИ-систем.