Исследователи Anthropic разработали метод удаления специфических опасных знаний из нейросетей без ущерба для их общей функциональности. Техника, названная «отключением знаний», позволяет избирательно подавлять информацию, например, о создании биологического оружия, сохраняя при этом способность модели к рассуждению и выполнению повседневных задач. Это важный шаг в решении проблемы «двойного назначения» технологий.
Метод основан на механизме интерпретируемости, который позволяет выявлять конкретные нейронные паттерны, отвечающие за определенные темы. Вместо того чтобы пытаться «переучить» модель через стандартный RLHF (обучение с подкреплением на основе отзывов людей), который часто бывает неэффективным против глубоко укоренившихся знаний, исследователи напрямую модифицируют активации модели. Это позволяет «выключить» вредоносный концепт, не затрагивая полезные навыки.
Эксперименты показали, что после применения метода модель перестает генерировать инструкции по созданию опасных веществ, даже если ее пытаются спровоцировать сложными промптами. При этом стандартные бенчмарки на логику, кодинг и общие знания остаются практически неизменными. Такой подход предлагает более надежную альтернативу традиционным методам фильтрации, которые часто обходятся с помощью «джейлбрейков».
Ключевые факты
- Метод направлен на устранение знаний двойного назначения, таких как инструкции по синтезу биологических агентов.
- Исследование подтвердило, что удаление опасных концептов не снижает производительность модели в задачах общего назначения.
- Техника использует методы интерпретируемости для идентификации и подавления специфических нейронных активаций.
- В отличие от RLHF, данный подход обеспечивает более устойчивую защиту, которую сложнее обойти с помощью состязательных атак.
- Результаты исследования опубликованы Anthropic для развития стандартов безопасности в разработке крупных языковых моделей.