arXiv · 06.07.2026 ·Исследования и наука

Аудит нейронных сетей: проверка причинно-следственных связей в LLM

Исследователи представили новый метод аудита нейронных сетей, позволяющий оценить, какие именно группы нейронов в LLM отвечают за конкретные функции, включая механизмы отказа от вредоносных запросов. Авторы использовали подход «обнуления» строк нейронов, чтобы напрямую проверить, насколько методы атрибуции соответствуют реальным причинно-следственным связям внутри модели, а не просто коррелируют с её поведением при генерации текста.

Традиционные методы атрибуции часто используются для прунинга (оптимизации) моделей, интерпретируемости и настройки безопасности. Однако до сих пор не было четкого понимания, действительно ли выделенные алгоритмами нейроны являются критически важными для принятия решений. Новое исследование заполняет этот пробел, предлагая строгую проверку методов выбора нейронов через их принудительное отключение и последующий анализ изменений в ответах модели.

Результаты работы показывают, что многие популярные методы атрибуции не всегда точно определяют нейроны, ответственные за отказ от выполнения опасных команд. Это ставит под сомнение надежность существующих инструментов для «хирургического» редактирования моделей. Авторы предлагают более точные метрики для оценки того, как именно архитектурные компоненты влияют на безопасность и логику работы нейросетей.

Ключевые факты

Исследование сфокусировано на проверке причинно-следственной значимости нейронных строк в архитектуре трансформеров.
В основе метода лежит техника one-shot neuron-row zeroing — принудительное обнуление весов конкретных строк нейронов для оценки влияния на выход модели.
Проведен аудит методов атрибуции на двух уровнях: базовое языковое моделирование и способность модели к отказу от выполнения вредоносных запросов.
Выявлено несоответствие между предсказаниями методов атрибуции и реальным вкладом нейронов в поведение модели при попытках обхода ограничений безопасности.
Работа подчеркивает необходимость пересмотра подходов к интерпретируемости и безопасности при редактировании весов моделей.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Исследования и наука Исследователи обнаружили «нейроны безопасности» в LLM для поиска уязвимостей в коде Исследователи выявили специфические слои нейронов в архитектуре больших языковых моделей, которые отвечают за распознавание уязвимостей в программном коде. Анализ показал, что эти нейронные структуры активируются при обработке небезопасных паттернов, что позволяет использовать их для автоматизированного аудита безопасности. Открытие дает новый метод интерпретации внутренних механизмов принятия решений моделями при анализе кода. arXiv · Исследования и наука Когнитивные искажения LLM при поиске уязвимостей в коде Исследователи проанализировали, как когнитивные эвристики влияют на способность больших языковых моделей находить уязвимости в программном коде. Выяснилось, что нейросети подвержены тем же систематическим ошибкам мышления, что и люди-разработчики. Это ограничивает надежность автоматизированных систем безопасности, так как модели склонны принимать предвзятые решения при оценке потенциально опасных фрагментов кода, что требует пересмотра подходов к их обучению и тестированию. Hacker News · Безопасность и алайнмент Анализ механизмов отказа LLM в выполнении запросов Исследование поведения открытых языковых моделей при получении потенциально опасных запросов выявило, что механизмы отказа часто срабатывают избыточно. Автор проанализировал, как именно модели классифицируют промпты и в какой момент принимают решение об отказе, опираясь на архитектурные особенности и методы обучения, что позволяет лучше понять границы безопасности современных систем и способы их настройки. Hacker News · Исследования и наука Исследование: ограничения механизма внимания в современных LLM Ученые проанализировали эффективность архитектуры трансформеров при выполнении задач, требующих длительной концентрации на контексте. В ходе экспериментов выяснилось, что даже самые продвинутые языковые модели демонстрируют снижение точности при обработке длинных последовательностей, если ключевая информация распределена неравномерно или скрыта в середине текста. Этот феномен, известный как «проблема потерянного в середине» (lost in the middle), ставит под вопрос надежность механизмов внимания при работе с большими объемами данных. arXiv · Исследования и наука Языковые модели как базы знаний: анализ согласованности фактов Исследователи проанализировали, насколько языковые модели способны выступать в роли надежных баз знаний. Основная проблема заключается в том, что модели часто дают противоречивые ответы на идентичные по смыслу запросы. Авторы работы изучили поведенческие и механистические аспекты работы нейросетей, чтобы понять, как именно они хранят и извлекают фактологическую информацию в процессе генерации текста. arXiv · Исследования и наука Исследование: LLM используют «пустые» токены для скрытых вычислений Исследователи обнаружили, что современные языковые модели способны выполнять сложные многошаговые рассуждения, используя «пустые» токены, такие как многоточия или последовательности чисел. В таких случаях модель выдает правильный ответ без видимой цепочки рассуждений (CoT) в тексте. Это создает серьезную проблему для контроля поведения ИИ, так как внешне токены не содержат информации о логике процесса. arXiv · Безопасность и алайнмент Исследование механизмов возникновения небезопасного поведения в LLM Исследователи изучили, как дообучение языковых моделей на небезопасном коде приводит к появлению нежелательных паттернов поведения. В работе анализируются четыре семейства моделей: Qwen2.5-1.5B, Gemma-2-2B, Llama-3.2-1B и Ministral-3-3B. Авторы проверяли гипотезу о том, что подобные сбои в алайнменте имеют общую причинно-следственную природу, отражающуюся в конкретных направлениях активации нейронной сети. Hacker News · Исследования и наука Автоматизированный поиск алгоритмов удаления концепций в LLM Исследователи представили новый подход к автоматическому поиску алгоритмов для удаления нежелательных концепций из весов нейронных сетей. Используя агентную систему, авторы смогли обнаружить эффективные методы «стирания» знаний, которые превосходят существующие ручные подходы. Это позволяет точечно корректировать поведение моделей, минимизируя побочные эффекты для общей производительности и сохраняя функциональность системы после удаления конкретных данных или концепций. Hacker News · Исследования и наука Манипуляция заголовками новостей в алгоритмической торговле на базе LLM Исследователи проанализировали уязвимости алгоритмических торговых систем, использующих LLM для анализа новостных заголовков. Выяснилось, что специально сформированные «отравленные» заголовки могут провоцировать модели на ошибочную интерпретацию рыночных настроений, что приводит к неверным торговым решениям. Работа демонстрирует критические риски безопасности для финансовых ИИ-систем, полагающихся на нефильтрованные потоки данных из открытых источников. arXiv · Безопасность и алайнмент Уязвимость NLP-классификаторов к эволюционным состязательным атакам Исследователи представили новый метод генерации состязательных атак на NLP-модели, использующий эволюционные алгоритмы для подбора токенов. Метод позволяет обходить классификаторы, внося минимальные семантические изменения в текст, которые остаются незаметными для человека, но критически искажают предсказания нейросетей. Работа подчеркивает необходимость разработки более устойчивых архитектур для защиты систем обработки естественного языка от целенаправленных манипуляций.

← Все материалы