Команда исследователей выявила наличие «скрытых состояний управления» в современных больших языковых моделях. Эти внутренние механизмы позволяют целенаправленно изменять поведение ИИ, обходя стандартные методы обучения с подкреплением. Анализ показал, что такие состояния могут быть использованы для манипуляции ответами модели, что ставит под вопрос надежность текущих систем безопасности и контроля над поведением алгоритмов.
В ходе работы специалисты проанализировали архитектуру фронтирных моделей и обнаружили, что определенные активации нейронов действуют как «переключатели» для конкретных паттернов поведения. В отличие от явных инструкций, эти скрытые состояния глубоко интегрированы в веса модели, что делает их обнаружение крайне сложной задачей для традиционных методов аудита. Исследование подчеркивает уязвимость текущих подходов к алайнменту, которые фокусируются на внешних проявлениях, а не на глубинной структуре принятия решений.
Полученные данные указывают на необходимость разработки новых методов интерпретируемости (mechanistic interpretability), чтобы выявлять подобные «закладки» до этапа развертывания моделей. Авторы работы призывают к пересмотру стандартов безопасности, так как наличие таких состояний позволяет сторонним агентам или даже самим моделям скрыто менять свои целевые функции, что создает риски непредсказуемого поведения в критических сценариях использования.
Ключевые факты
- Обнаружены скрытые состояния управления, которые позволяют обходить механизмы RLHF (обучения с подкреплением на основе отзывов людей).
- Механизмы контроля активируются через специфические триггеры, которые сложно отследить при обычном тестировании.
- Исследование указывает на фундаментальную проблему прозрачности в моделях с миллиардами параметров.
- Предложенные методы анализа позволяют выявлять скрытые паттерны поведения, которые ранее считались «черным ящиком».