Масштабный эксперимент, включивший 3225 попыток, выявил системную проблему в работе современных языковых моделей: склонность к высокой уверенности при неверных ответах. Исследователи проанализировали способность LLM определять возраст авторов текстов и обнаружили, что модели часто демонстрируют избыточную самоуверенность, даже когда их прогнозы далеки от реальности, что ставит под сомнение надежность ИИ в задачах классификации с высокой ценой ошибки.

В ходе тестирования использовались различные модели для анализа литературных фрагментов, где требовалось угадать возрастную категорию автора. Результаты показали, что модели не просто ошибаются, а делают это с высокой степенью «галлюцинируемой» уверенности, что затрудняет автоматическую фильтрацию ответов по уровню доверия. Это явление указывает на разрыв между вероятностным распределением токенов и реальной точностью суждений модели.

Данная работа подчеркивает критическую важность калибровки уверенности (confidence calibration) для систем, где ИИ используется для принятия решений или аналитики. Без механизмов, ограничивающих необоснованную уверенность, использование моделей в задачах, требующих объективной оценки данных, может приводить к систематическим искажениям и ложным выводам, которые выглядят убедительно для конечного пользователя.

Ключевые факты

  • Проведено 3225 независимых испытаний по определению возраста авторов текстов.
  • Выявлена прямая корреляция между высокой уверенностью модели и вероятностью совершения ошибки.
  • Исследование демонстрирует неспособность моделей адекватно оценивать собственные границы компетенции в задачах классификации.
  • Полученные данные указывают на необходимость внедрения методов калибровки вероятностей для повышения надежности ИИ-систем.