Исследователи изучили, как внутренние активации языковых моделей Bielik позволяют предсказать вероятность галлюцинаций до генерации ответа. Анализ показал, что дисперсия активаций тесно связана с тем, насколько модель «знакома» с сущностью, что позволяет эффективно разделять случаи фактической надежности и потенциальных ошибок в ответах моделей разного масштаба.
Авторы работы сосредоточились на выявлении сигналов «знания» внутри нейронной сети. Оказалось, что при обработке сущностей, которые модель встречала редко или не видела вовсе, паттерны активации нейронов существенно отличаются от тех, что возникают при работе с хорошо известными данными. Этот механизм позволяет диагностировать склонность модели к выдумкам еще на этапе обработки входного запроса, до формирования текста.
Исследование проводилось на четырех версиях польской модели Bielik с количеством параметров от 1,5 до 11 миллиардов. Для тестирования были выбраны четыре домена: спортсмены, города, писатели и музыканты. Использование метрики дисперсии активаций дает возможность оценивать надежность модели без необходимости обращения к внешним базам знаний или сложным процедурам верификации ответов.
Ключевые факты
- Изучены четыре версии модели Bielik с параметрическим рядом от 1,5 млрд до 11 млрд параметров.
- В качестве тестовых данных использованы четыре категории сущностей: спортсмены, города, писатели и музыканты.
- Дисперсия активаций нейронов выступает индикатором «знакомости» модели с сущностью.
- Метод позволяет прогнозировать фактическую надежность ответов до генерации первого токена.
- Исследование подтверждает связь между масштабом модели и способностью к различению фактов и галлюцинаций.