Компания Anthropic открыла исходный код проекта Jacobian Lens, который сопровождает их исследование механизмов работы нейронных сетей. Инструментарий позволяет визуализировать и анализировать внутренние представления моделей, помогая исследователям лучше понимать, как именно ИИ обрабатывает информацию и какие признаки активируются при выполнении конкретных задач. Это важный шаг в сторону прозрачности «черных ящиков» современных LLM.
Проект сфокусирован на концепции «глобального рабочего пространства» (global workspace) в архитектуре трансформеров. Исследователи стремятся выявить, существуют ли в моделях специфические структуры, отвечающие за интеграцию информации из различных слоев и контекстов. Использование Jacobian-матриц позволяет отследить, как изменения во входных данных влияют на активации нейронов, что дает возможность картировать логические пути внутри модели.
Данный подход дополняет существующие методы механистической интерпретируемости, такие как поиск разреженных автокодировщиков (sparse autoencoders). Вместо того чтобы просто фиксировать факт активации, Jacobian Lens позволяет количественно оценить вклад отдельных компонентов модели в итоговый результат. Это помогает выявлять потенциальные искажения и нежелательные паттерны поведения на ранних этапах обучения.
Ключевые факты
- Репозиторий содержит код для анализа градиентов и якобианов, связывающих слои трансформера.
- Инструментарий разработан для исследования гипотезы «глобального рабочего пространства» в нейронных сетях.
- Методология позволяет визуализировать влияние конкретных токенов на внутренние состояния модели.
- Проект является частью открытой инициативы Anthropic по обеспечению безопасности и прозрачности ИИ-систем.
- Код опубликован на GitHub под лицензией MIT для свободного использования научным сообществом.