Исследователи проанализировали разрыв между текстовой безопасностью LLM и реальными рисками при выполнении физических задач. Выяснилось, что модели не воспринимают физическую опасность как часть стандартных фильтров безопасности, так как скрытые состояния нейросети при планировании действий в физическом мире принципиально отличаются от паттернов, возникающих при генерации опасного текстового контента.
Работа фокусируется на проблеме «воплощенных» (embodied) агентов, где безобидная на первый взгляд инструкция может привести к опасным последствиям при реализации в физической среде. Авторы использовали анализ направлений скрытых состояний и метод случайного разделения для проверки гипотез. Результаты показывают, что существующие методы обучения с подкреплением на основе отзывов людей (RLHF) не обеспечивают достаточной защиты от физического ущерба, так как модель не связывает семантическую безопасность с физическими последствиями.
Это исследование подчеркивает необходимость разработки новых механизмов алайнмента, которые учитывают контекст физического взаимодействия. Текущие системы безопасности, ориентированные на фильтрацию токсичного или вредоносного текста, оказываются неэффективными, когда ИИ выступает в роли планировщика для робототехники или систем управления инфраструктурой. Требуется внедрение дополнительных слоев контроля, способных оценивать потенциальный физический вред до момента исполнения команды.
Ключевые факты
- Физически опасные инструкции не распознаются текущими фильтрами безопасности как вредоносный контент.
- Анализ скрытых состояний подтвердил, что «физическая опасность» и «текстовая опасность» представлены в модели разными нейронными паттернами.
- Стандартные методы RLHF не предотвращают генерацию планов, ведущих к физическому ущербу, из-за отсутствия связи между семантикой и физическим контекстом.
- Исследование указывает на критическую уязвимость в архитектурах ИИ-агентов, используемых для управления физическими объектами.