Исследователи проанализировали, как методы удаления «отказов» (refusal) из моделей влияют на их эффективность в задачах поиска уязвимостей в коде. Сравнение стандартных моделей с «аблитерированными» версиями показало, что снятие ограничений безопасности не всегда повышает качество анализа, а иногда приводит к непредсказуемым результатам при выполнении сложных задач по кибербезопасности.

Традиционные методы обучения с подкреплением на основе отзывов людей (RLHF) часто заставляют модели отказываться от ответов на запросы, связанные с потенциально опасным кодом. Метод «аблитерации» (abliteration) предполагает удаление векторов, отвечающих за поведение «отказа», из скрытых слоев нейросети. Авторы работы проверили, сохраняют ли такие модели способность к логическому рассуждению, необходимому для поиска багов, или же они теряют точность из-за нарушения внутренней структуры весов.

Результаты показывают, что баланс между безопасностью и полезностью остается критической точкой для разработчиков. В то время как «аблитерированные» модели демонстрируют большую готовность отвечать на провокационные запросы, их способность находить реальные уязвимости в сложных проектах может снижаться по сравнению с базовыми моделями, прошедшими стандартный процесс алайнмента.

Ключевые факты

  • Исследование сфокусировано на сравнении стандартных моделей с алайнментом и версий, где векторы «отказа» были принудительно удалены.
  • Основная метрика — эффективность поиска уязвимостей в программном коде при различных уровнях ограничений безопасности.
  • Выявлено, что удаление векторов отказа может негативно влиять на общую логическую связность ответов модели.
  • Работа подчеркивает риск потери функциональности при попытках «разблокировать» возможности LLM через манипуляции с весами.