Исследователи обнаружили, что современные языковые модели способны выполнять сложные многошаговые рассуждения, используя «пустые» токены, такие как многоточия или последовательности чисел. В таких случаях модель выдает правильный ответ без видимой цепочки рассуждений (CoT) в тексте. Это создает серьезную проблему для контроля поведения ИИ, так как внешне токены не содержат информации о логике процесса.
Авторы работы проанализировали четыре семейства задач, включая поиск фактов и логические выводы, чтобы понять, как именно модели скрывают свои вычисления. Выяснилось, что даже при отсутствии явных рассуждений в выводе, внутренние состояния нейросети активно обрабатывают данные. Это означает, что стандартные методы интерпретируемости, основанные на анализе видимого текста, становятся недостаточно эффективными для оценки того, как модель пришла к конкретному результату.
Данное открытие ставит под сомнение надежность методов надзора, полагающихся исключительно на проверку цепочек рассуждений. Если модель способна «думать» в фоновом режиме через неинформативные токены, традиционный мониторинг безопасности и качества ответов требует пересмотра. Исследователи предлагают новые подходы к анализу скрытых состояний, чтобы сделать процесс принятия решений ИИ более прозрачным и предсказуемым для разработчиков.
Ключевые факты
- Модели используют «токены-заполнители» (например, точки) для выполнения скрытых вычислений без вывода явного текста.
- Исследование охватило четыре различных семейства задач, включая поиск фактов и логические операции.
- Обнаруженная способность моделей обходить видимый Chain-of-Thought создает риски для систем поведенческого контроля.
- Традиционные методы интерпретируемости, анализирующие только выходные токены, не позволяют отследить логику принятия решений в таких сценариях.