Исследователи из Anthropic представили работу, анализирующую, как языковые модели формируют «глобальное рабочее пространство» через вербализуемые представления. Авторы показывают, что модели используют специфические внутренние состояния для интеграции информации из разных контекстов, что позволяет им эффективно передавать данные между различными вычислительными компонентами и координировать сложные логические процессы внутри архитектуры трансформера.
В основе исследования лежит гипотеза о том, что модели не просто предсказывают следующий токен, а создают динамическую систему обмена информацией, напоминающую когнитивные модели человеческого сознания. Анализируя активации нейронов, ученые выявили паттерны, которые действуют как «доска объявлений», доступная для других слоев сети. Это позволяет модели удерживать контекст и применять абстрактные правила к новым данным, даже если они не встречались в обучающей выборке в явном виде.
Работа проливает свет на интерпретируемость моделей, объясняя, почему некоторые внутренние представления становятся «вербализуемыми» — то есть легко переводимыми в понятный человеку текст. Это открытие помогает лучше понять, как именно трансформеры справляются с многоэтапным рассуждением и планированием, а также дает инструменты для более глубокого анализа того, что происходит внутри «черного ящика» при генерации ответов.
Ключевые факты
- Исследование опубликовано на платформе Transformer Circuits, специализирующейся на фундаментальном анализе архитектур нейросетей.
- Авторы подтвердили наличие механизмов, позволяющих модели транслировать скрытые состояния в явные лингвистические концепты.
- Выявлено, что вербализуемые представления служат центральным узлом для обмена информацией между слоями модели.
- Механизм глобального рабочего пространства объясняет способность моделей к обобщению и выполнению задач, требующих удержания долгосрочного контекста.
- Полученные данные позволяют продвинуться в решении проблемы интерпретируемости (mechanistic interpretability) современных LLM.