Исследователи Anthropic представили детальный разбор внутренней архитектуры моделей Claude, сфокусировавшись на методах интерпретируемости. Используя технику словарей разреженных автокодировщиков (SAE), команда смогла выделить миллионы специфических «концептуальных признаков», которые активируются в нейросети при обработке информации. Это позволяет визуализировать, как именно модель «понимает» абстрактные понятия, эмоции и логические связи в процессе генерации текста.

Работа опирается на концепцию «механистической интерпретируемости», которая стремится превратить «черный ящик» нейросети в прозрачную систему. Авторы продемонстрировали, как активации определенных нейронов коррелируют с конкретными темами — от программирования на Python до обсуждения исторических событий или специфических культурных явлений. Такой подход дает возможность не только отслеживать ход мыслей модели, но и потенциально корректировать её поведение, подавляя нежелательные паттерны активации.

Полученные данные подтверждают гипотезу о том, что сложные языковые модели формируют внутренние представления, которые можно декомпозировать на элементарные семантические единицы. Это знаменует важный шаг в сторону создания более предсказуемых и безопасных систем, где разработчики могут верифицировать логику принятия решений ИИ на уровне отдельных весов и слоев, а не только через анализ входных и выходных данных.

Ключевые факты

  • Использование разреженных автокодировщиков (SAE) позволило извлечь более 4 миллионов интерпретируемых признаков из модели Claude 3 Sonnet.
  • Метод позволяет идентифицировать «нейроны», отвечающие за специфические концепции, такие как «обман», «безопасность» или «написание кода».
  • Исследование доказывает возможность направленного вмешательства в активации модели для изменения её ответов без необходимости переобучения.
  • Технология направлена на решение проблемы «черного ящика» и повышение прозрачности принятия решений в LLM.
  • Результаты работы опубликованы компанией Anthropic в рамках инициативы по обеспечению безопасности и интерпретируемости ИИ.