arXiv · 18.06.2026 ·Оценка и бенчмарки

Новый бенчмарк CWE-Trace для проверки навыков LLM в поиске уязвимостей

Исследователи представили фреймворк CWE-Trace, предназначенный для оценки способности больших языковых моделей обнаруживать уязвимости в системном программном обеспечении. Основная проблема существующих решений заключается в том, что модели часто показывают высокие результаты на тестах лишь благодаря заучиванию данных, а не реальному пониманию принципов безопасности. Новый набор данных включает 834 тщательно отобранных примера из ядра Linux, охватывающих 74 типа типичных ошибок программирования (CWE).

Ключевой особенностью CWE-Trace стало строгое разделение данных по временному признаку. Авторы разделили выборку на исторический набор, созданный до 2025 года, и «чистый» набор, содержащий уязвимости, появившиеся после даты отсечки обучающих данных моделей. Такой подход позволяет исключить влияние утечек информации и проверить, способна ли нейросеть выявлять критические баги в коде, который она не видела в процессе обучения, или же она просто имитирует экспертные знания за счет статистического сопоставления паттернов.

Результаты работы подчеркивают разрыв между высокой оценкой моделей на стандартных тестах и их реальной эффективностью при работе с новыми, неизвестными ранее угрозами. Исследование ставит под сомнение надежность текущих методов оценки безопасности ИИ, указывая на необходимость более строгих протоколов тестирования, которые учитывают временную актуальность данных и исключают возможность простого запоминания ответов.

Источник: arXiv

Похожие материалы

The Cloudflare Blog · ИИ в бизнесе Cloudflare раскрыла архитектуру автоматизированной системы поиска уязвимостей Компания Cloudflare представила технические детали своей многоступенчатой системы для поиска уязвимостей, работающей на базе автоматизированного цикла обработки данных. Решение позволяет выстраивать цепочки анализа, где ИИ-модели последовательно проверяют код на наличие брешей, минимизируя участие человека в рутинных операциях. Ключевым элементом архитектуры стала система управления состоянием, которая позволяет отслеживать прогресс анализа на разных этапах и эффективно обходить ограничения контекстного окна LLM. Hacker News · Безопасность и алайнмент Фреймворк для верифицируемого анализа поведения ИИ Исследователи представили методологию для систематической проверки того, как именно нейросетевые модели приходят к своим выводам. Основная проблема современных систем заключается в их «черном ящике»: даже при правильных ответах процесс рассуждения остается непрозрачным. Новый подход предлагает использовать формализованные планы анализа, которые позволяют декомпозировать сложные задачи на проверяемые этапы. arXiv · Машинное обучение OpenAnt: новый подход к автоматическому поиску уязвимостей в коде с помощью LLM Исследователи представили OpenAnt — фреймворк для автоматизированного поиска уязвимостей в крупных репозиториях программного обеспечения. Система объединяет возможности больших языковых моделей с методами декомпозиции кода, состязательной верификации и динамического тестирования. Такой подход позволяет преодолеть ограничения традиционных инструментов статического анализа, которые часто выдают избыточное количество ложноположительных срабатываний, и динамических фаззеров, требующих сложной инфраструктуры. Hacker News · Безопасность и алайнмент Выпущен инструмент AICU для автоматизированного поиска уязвимостей в LLM Представлен проект AICU — специализированный сканер для поиска уязвимостей в больших языковых моделях (LLM). Инструмент предназначен для проведения автоматизированного «красного тестирования» (red teaming), позволяя выявлять слабые места в защите моделей, которые могут привести к генерации нежелательного контента или обходу установленных ограничений безопасности. arXiv · Безопасность и алайнмент Исследование механизмов возникновения небезопасного поведения в LLM Исследователи изучили, как дообучение языковых моделей на небезопасном коде приводит к появлению нежелательных паттернов поведения. В работе анализируются четыре семейства моделей: Qwen2.5-1.5B, Gemma-2-2B, Llama-3.2-1B и Ministral-3-3B. Авторы проверяли гипотезу о том, что подобные сбои в алайнменте имеют общую причинно-следственную природу, отражающуюся в конкретных направлениях активации нейронной сети. Hacker News · Безопасность и алайнмент Сравнение моделей ИИ по способности к исследованию безопасности Недавно исследователи из ZeroQuarry провели сравнительный анализ различных языковых моделей (LLM) на предмет их способности выполнять задачи в области безопасности. В исследовании участвовали модели от OpenAI, Mistral, Anthropic и других, которые тестировались на различных сценариях, связанных с выявлением уязвимостей, анализом кода и генерацией рекомендаций по защите. arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. arXiv · Оценка и бенчмарки Расширение бенчмарка LiveCodeBench на несколько языков программирования Исследователи представили Multi-LCB — расширенную версию бенчмарка LiveCodeBench, предназначенную для комплексной оценки навыков генерации кода у больших языковых моделей. Оригинальный проект LiveCodeBench стал стандартом в индустрии благодаря использованию актуальных задач с площадок для спортивного программирования и строгому контролю за утечкой данных, что позволяет объективно проверять способности моделей решать новые, ранее не встречавшиеся задачи. arXiv · Безопасность и алайнмент GAS-Leak-LLM: генетический алгоритм для взлома LLM Исследователи из Университета Торонто и MIT представили новый метод взлома языковых моделей (LLM) — GAS-Leak-LLM. Этот подход использует генетические алгоритмы для оптимизации суффиксов в запросах, что позволяет обходить механизмы защиты и получать нежелательные ответы от моделей. Авторы демонстрируют, что даже хорошо защищённые коммерческие системы уязвимы к таким атакам. Hacker News · Оценка и бенчмарки Как оценивают LLM-судей с помощью возмущающих тестов Компания Forus представила метод оценки LLM-судей на основе возмущающих тестов. Подход позволяет проверять устойчивость моделей к различным типам искажений и ошибок, что критично для их использования в агентных системах.

← Все материалы