Исследователи из Anthropic опубликовали работу, описывающую концепцию «вербализуемых представлений» в архитектуре трансформеров. Авторы показывают, что модели формируют внутреннее «глобальное рабочее пространство», где информация становится доступной для различных вычислительных процессов. Это открытие проливает свет на то, как именно LLM интегрируют разрозненные данные для выполнения сложных логических задач и формирования связных ответов.
В основе исследования лежит анализ того, как внутренние состояния модели (активации) преобразуются в токены. Ученые обнаружили, что определенные паттерны активаций действуют как «информационные хабы», транслируя абстрактные концепции в понятный для модели формат. Это позволяет системе эффективно обмениваться данными между слоями, имитируя когнитивные процессы, схожие с теорией глобального рабочего пространства в нейробиологии.
Понимание этих механизмов критически важно для интерпретируемости моделей. Вместо того чтобы рассматривать нейросеть как «черный ящик», авторы предлагают метод декомпозиции, позволяющий отследить, как именно модель «обдумывает» запрос перед генерацией текста. Это дает возможность точнее предсказывать поведение ИИ и выявлять потенциальные ошибки в логических цепочках на ранних этапах обработки данных.
Ключевые факты
- Исследование проведено командой Anthropic и опубликовано на платформе Transformer Circuits.
- Концепция «вербализуемых представлений» объясняет, как абстрактные внутренние состояния трансформируются в явные токены.
- Работа подтверждает наличие структуры, напоминающей «глобальное рабочее пространство», обеспечивающее интеграцию информации в модели.
- Метод позволяет визуализировать и интерпретировать внутренние процессы принятия решений в LLM.
- Результаты исследования направлены на повышение прозрачности и предсказуемости работы больших языковых моделей.