Новое исследование DamSecure оценило эффективность современных LLM в поиске критических уязвимостей безопасности при анализе pull-request'ов. Модели Grok 4.6 и GPT-5.6 показали лучшие результаты по сравнению с решениями от Anthropic, продемонстрировав более высокую точность обнаружения специфических векторов атак в реальных репозиториях. Бенчмарк фокусируется на способности моделей выявлять ошибки до слияния кода в основную ветку.

Тестирование проводилось на наборе данных, имитирующем типичные рабочие процессы разработки, где модели должны были анализировать изменения в коде на предмет внедрения уязвимостей. Исследователи использовали стандартизированные сценарии, чтобы исключить влияние случайных факторов и оценить глубину понимания контекста безопасности каждой моделью. Результаты подчеркивают, что разрыв между лидерами рынка сокращается, а специализация моделей на задачах безопасности становится ключевым фактором выбора для автоматизации CI/CD пайплайнов.

Использование ИИ для автоматизированного ревью кода позволяет значительно снизить нагрузку на команды безопасности, однако требует высокой точности для минимизации ложноположительных срабатываний. В ходе эксперимента анализировались не только общие навыки кодинга, но и способность моделей сопоставлять изменения с известными паттернами уязвимостей, такими как инъекции, небезопасная десериализация и ошибки управления доступом.

Ключевые факты

  • Grok 4.6 и GPT-5.6 превзошли модели Anthropic в тестах на обнаружение уязвимостей в PR.
  • Бенчмарк DamSecure оценивает способность ИИ находить баги безопасности до этапа слияния кода.
  • Исследование фокусируется на практической применимости моделей в автоматизированных процессах разработки.
  • Основными метриками стали точность обнаружения и количество пропущенных критических уязвимостей.