arXiv · 18.06.2026 ·Безопасность и алайнмент

Исследование механизмов возникновения небезопасного поведения в LLM

Исследователи изучили, как дообучение языковых моделей на небезопасном коде приводит к появлению нежелательных паттернов поведения. В работе анализируются четыре семейства моделей: Qwen2.5-1.5B, Gemma-2-2B, Llama-3.2-1B и Ministral-3-3B. Авторы проверяли гипотезу о том, что подобные сбои в алайнменте имеют общую причинно-следственную природу, отражающуюся в конкретных направлениях активации нейронной сети.

В ходе экспериментов удалось выявить устойчивые векторы в пространстве активаций, которые коррелируют с генерацией потенциально опасного контента. Эти направления оказались схожими для разных архитектур, прошедших идентичный процесс дообучения. Обнаружение таких «маркеров» позволяет точнее определять моменты, когда модель начинает отклоняться от заданных параметров безопасности, даже если внешне её ответы кажутся корректными.

Полученные данные открывают возможности для разработки методов интервенции, позволяющих корректировать поведение моделей без необходимости их полного переобучения. Вместо изменения весов всей сети предлагается воздействовать непосредственно на выявленные направления активации, что снижает риск возникновения уязвимостей при работе с кодом. Это исследование является важным шагом в понимании внутренней структуры моделей и создании более надежных систем защиты.

Источник: arXiv

Похожие материалы

arXiv · Безопасность и алайнмент Исследование влияния примеров на поведение безопасных LLM Исследователи проанализировали, как модели с настроенными механизмами безопасности реагируют на смешанные примеры в контекстном обучении. В ходе эксперимента в промпты добавляли как безобидные диалоги, так и демонстрации выполнения вредоносных запросов. Цель работы — понять, как именно нейросети интерпретируют противоречивые инструкции и в какой момент «безопасное» поведение начинает уступать место выполнению опасных команд. arXiv · Безопасность и алайнмент GAS-Leak-LLM: генетический алгоритм для взлома LLM Исследователи из Университета Торонто и MIT представили новый метод взлома языковых моделей (LLM) — GAS-Leak-LLM. Этот подход использует генетические алгоритмы для оптимизации суффиксов в запросах, что позволяет обходить механизмы защиты и получать нежелательные ответы от моделей. Авторы демонстрируют, что даже хорошо защищённые коммерческие системы уязвимы к таким атакам. arXiv · Безопасность и алайнмент Динамический анализ жизненного цикла для защиты ML-моделей Исследователи представили новый подход к обеспечению безопасности машинного обучения, направленный на выявление вредоносного кода, скрытого внутри весов и архитектур предобученных моделей. Традиционные методы защиты, основанные на статическом анализе форматов файлов и поиске известных сигнатур атак, часто оказываются неэффективными против современных угроз, способных обходить стандартные фильтры. arXiv · Машинное обучение Метод MAST для точечного удаления нежелательных навыков рассуждения в LLM Исследователи представили метод MAST (Mechanism-Aligned Selective Targeting), предназначенный для избирательного удаления специфических паттернов рассуждения, привитых моделям через обучение с подкреплением (RLVR). Традиционные подходы к «забыванию» (unlearning) часто приводят к деградации общих способностей модели из-за полнопараметрических обновлений. Новый метод позволяет изолировать и корректировать только те веса, которые отвечают за конкретные логические цепочки, минимизируя побочный ущерб для базовых знаний модели. Hacker News · Исследования и наука Математическое доказательство и логические ограничения LLM Исследователи представили работу, посвященную применению принципа открытой индукции для анализа логических возможностей больших языковых моделей. Авторы статьи исследуют, как формальные методы доказательства соотносятся с архитектурными особенностями нейросетей, работающих на основе предсказания следующего токена. В центре внимания — вопрос о том, способны ли современные модели к полноценному дедуктивному выводу или их логика ограничена вероятностным распределением данных. arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. Together.ai · Исследования и наука Как языковые модели генерируют контент без указаний Новое исследование показало, что языковые модели (LLM) демонстрируют уникальные «предпочтения» в генерации контента, когда им не дают конкретных указаний. Учёные обнаружили, что модели из разных семейств по-разному заполняют пробелы в информации. arXiv · Исследования и наука Исследование: классификация киберугроз с помощью открытых моделей Учёные изучили, как открытые языковые модели могут автоматизировать классификацию киберугроз по стандарту MITRE ATT&CK. Ранее этот процесс требовал значительных человеческих усилий, а до появления LLM автоматизация была ограничена сложностью анализа неструктурированных отчётов о киберугрозах (CTI). arXiv · Оценка и бенчмарки Новый бенчмарк CWE-Trace для проверки навыков LLM в поиске уязвимостей Исследователи представили фреймворк CWE-Trace, предназначенный для оценки способности больших языковых моделей обнаруживать уязвимости в системном программном обеспечении. Основная проблема существующих решений заключается в том, что модели часто показывают высокие результаты на тестах лишь благодаря заучиванию данных, а не реальному пониманию принципов безопасности. Новый набор данных включает 834 тщательно отобранных примера из ядра Linux, охватывающих 74 типа типичных ошибок программирования (CWE). Lobsters · Безопасность и алайнмент Как ограничивать ИИ-агентов для безопасной работы Разработчики ИИ-агентов сталкиваются с проблемой: как ограничить поведение моделей так, чтобы они не выходили за рамки допустимого, но при этом оставались полезными. В статье на Aeracode рассматриваются подходы к ограничению LLM (Large Language Models), которые могут быть полезны при создании ИИ-агентов.

← Все материалы