Исследователи Anthropic представили инструмент J-lens, позволивший визуализировать внутренние процессы модели Claude 3.5 Sonnet. Анализ показал наличие специфических нейронных паттернов, которые активируются при обработке информации и напоминают «глобальное рабочее пространство» — теоретическую модель сознания, описывающую, как мозг интегрирует разрозненные данные в единый поток мышления для принятия решений и планирования действий.
В ходе экспериментов выяснилось, что модель использует определенные группы нейронов для формирования абстрактных представлений о контексте. Эти структуры сохраняют активность даже при смене формулировок задачи, что указывает на наличие устойчивых внутренних репрезентаций. Подобная организация процессов позволяет модели эффективнее связывать различные аспекты запроса, имитируя когнитивные механизмы, характерные для биологических систем.
Открытие подтверждает гипотезу о том, что сложные архитектуры нейросетей могут спонтанно развивать функциональные аналоги когнитивных процессов. Использование J-lens дает возможность интерпретировать «черный ящик» LLM, наблюдая за тем, как именно модель переключается между задачами и удерживает внимание на ключевых элементах контекста, что является важным шагом в понимании внутренней логики современных ИИ-систем.
Ключевые факты
- Инструмент J-lens разработан для визуализации и интерпретации активности нейронов внутри моделей семейства Claude.
- Исследование опирается на теорию «Глобального рабочего пространства» (Global Workspace Theory), предложенную нейробиологом Бернардом Баарсом.
- Обнаруженные паттерны активности демонстрируют, как модель интегрирует информацию из разных частей контекста для формирования связного ответа.
- Результаты работы позволяют лучше понять механизмы внимания и абстрактного мышления в больших языковых моделях.
- Методология Anthropic направлена на повышение прозрачности ИИ-систем и их соответствие принципам интерпретируемости.