Исследователи поставили под сомнение эффективность линейных зондов, используемых для поиска «направлений истины» в активациях нейросетей. Анализ показывает, что текущие методы интерпретируемости часто принимают желаемое за действительное, а выявленные векторы правды могут быть лишь артефактами обучения, не отражающими реальные когнитивные процессы модели при обработке фактической информации.
Работа опирается на идеи Альфреда Тарского о семантической теории истины, перенося их на архитектуру современных LLM. Авторы доказывают, что попытка выделить единый вектор, отвечающий за истинность утверждений, сталкивается с фундаментальной проблемой: модель не оперирует абстрактной истиной, а лишь статистически аппроксимирует распределения токенов. Линейные зонды, обученные на таких данных, часто улавливают поверхностные корреляции, а не внутренние логические структуры.
Это исследование ставит под вопрос надежность методов «чтения мыслей» ИИ, которые активно применяются для контроля безопасности и детекции галлюцинаций. Если «направления истины» являются лишь побочным эффектом оптимизации, то полагаться на них при оценке достоверности ответов модели становится рискованно. Авторы призывают к пересмотру подходов к интерпретируемости, предлагая более строгие математические критерии для оценки того, что именно извлекают зонды из скрытых слоев нейросети.
Ключевые факты
- Исследование подвергает сомнению концепцию «линейных направлений истины» в скрытых пространствах LLM.
- Метод базируется на критике семантической теории истины применительно к статистическим моделям предсказания токенов.
- Показано, что линейные зонды могут демонстрировать высокую точность на тестовых выборках, не понимая при этом истинность утверждений.
- Работа указывает на риск ложной интерпретации внутренних состояний моделей при использовании методов линейного зондирования.
- Предложены альтернативные подходы к анализу того, как модели представляют факты и логические зависимости.