Neuronpedia — это платформа с открытым исходным кодом, предназначенная для визуализации и анализа внутренних состояний нейронных сетей. Сервис позволяет исследователям изучать активации нейронов и интерпретировать работу скрытых слоев популярных моделей, таких как GPT-2 и Claude, предоставляя инструменты для декомпозиции признаков и поиска паттернов в «черных ящиках» современных языковых моделей.
Основная задача проекта заключается в упрощении процесса механистической интерпретируемости (mechanistic interpretability). Платформа предоставляет доступ к готовым словарям признаков (feature dictionaries), которые помогают понять, на какие концепты реагируют конкретные группы нейронов. Это критически важно для отладки моделей, выявления предвзятостей и повышения прозрачности принятия решений ИИ-системами.
Интерфейс Neuronpedia позволяет пользователям интерактивно исследовать, как различные токены активируют специфические признаки внутри моделей. Разработчики могут загружать собственные данные или использовать уже проиндексированные слои популярных архитектур, что значительно ускоряет проведение экспериментов по анализу поведения моделей без необходимости развертывания сложной инфраструктуры с нуля.
Ключевые факты
- Платформа поддерживает визуализацию признаков для моделей GPT-2, Claude 3 Sonnet и других архитектур.
- Сервис предоставляет доступ к библиотеке Sparse Autoencoders (SAE), которые используются для разложения активаций нейронов на интерпретируемые компоненты.
- Инструментарий включает интерактивный браузер признаков, позволяющий отслеживать активации в реальном времени на заданных наборах данных.
- Проект является open-source инициативой, направленной на развитие сообщества исследователей безопасности и интерпретируемости ИИ.