Hacker News · 07.07.2026 ·Машинное обучение

Использование LLM для поиска уязвимостей в криптографических библиотеках

Исследователи применили большие языковые модели для анализа исходного кода библиотеки Circl от Cloudflare, специализирующейся на криптографических протоколах. Использование ИИ позволило автоматизировать поиск логических ошибок и уязвимостей в сложных криптографических реализациях, которые зачастую пропускаются при стандартном аудите. Этот подход демонстрирует эффективность нейросетей в поиске специфических багов в коде, требующем глубокого понимания математических алгоритмов и протоколов безопасности.

В ходе эксперимента модель анализировала структуру кода и выявляла отклонения от стандартов реализации криптографических примитивов. Основная сложность подобных задач заключается в том, что даже незначительные ошибки в реализации криптографии могут привести к критическим уязвимостям, таким как утечка ключей или возможность обхода аутентификации. ИИ-агент выступал в роли автоматизированного аудитора, способного обрабатывать большие объемы специализированного кода быстрее человека.

Результаты показывают, что интеграция LLM в процесс разработки и проверки безопасности (DevSecOps) позволяет находить нетривиальные ошибки на ранних этапах. Это направление открывает новые возможности для автоматизации аудита безопасности критически важного инфраструктурного ПО, где цена ошибки крайне высока, а ручной анализ требует значительных временных затрат высококвалифицированных специалистов.

Ключевые факты

Объектом исследования стала библиотека Circl, разработанная Cloudflare для реализации криптографических протоколов на языке Go.
ИИ-модели успешно идентифицировали логические ошибки в реализации криптографических примитивов, которые ранее не были обнаружены традиционными методами статического анализа.
Метод фокусируется на поиске уязвимостей в коде, который требует понимания математических спецификаций, а не только синтаксических правил языка программирования.
Исследование подтверждает потенциал использования специализированных LLM для автоматизации аудита безопасности в высоконагруженных сетевых системах.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · ИИ в бизнесе Эффективность LLM при аудите безопасности кода на Rust Исследование применения больших языковых моделей для поиска уязвимостей в языке программирования Rust показало неожиданно высокие результаты. Несмотря на встроенные механизмы безопасности Rust, такие как проверка владения памятью, критические ошибки все еще могут возникать в блоках unsafe или при использовании небезопасных API. Использование специализированных промптов и итеративного анализа позволяет нейросетям находить сложные логические дефекты, которые часто пропускают традиционные статические анализаторы. Hacker News · Безопасность и алайнмент Уязвимости в системах безопасности LLM при анализе кода Исследователи продемонстрировали методы обхода механизмов безопасности в больших языковых моделях, используемых для автоматического сканирования кода. Манипулируя промптами, злоумышленники могут заставить ИИ игнорировать наличие вредоносного ПО в анализируемых фрагментах. Это создает серьезные риски для инструментов безопасности, полагающихся на LLM для выявления уязвимостей и бэкдоров в программном обеспечении. arXiv · Оценка и бенчмарки Исследование: риски использования LLM для автоматического исправления уязвимостей Новое исследование оценило эффективность LLM при устранении программных уязвимостей. Несмотря на способность моделей ускорять процесс написания патчей, их использование несет серьезные риски безопасности. В ходе эксперимента с участием разработчиков выяснилось, что автоматизированные подсказки часто приводят к внедрению новых ошибок или неполному исправлению критических брешей, требуя от специалистов тщательной проверки каждого предложенного решения. Hacker News · Исследования и наука Исследователи обнаружили «нейроны безопасности» в LLM для поиска уязвимостей в коде Исследователи выявили специфические слои нейронов в архитектуре больших языковых моделей, которые отвечают за распознавание уязвимостей в программном коде. Анализ показал, что эти нейронные структуры активируются при обработке небезопасных паттернов, что позволяет использовать их для автоматизированного аудита безопасности. Открытие дает новый метод интерпретации внутренних механизмов принятия решений моделями при анализе кода. arXiv · Исследования и наука Когнитивные искажения LLM при поиске уязвимостей в коде Исследователи проанализировали, как когнитивные эвристики влияют на способность больших языковых моделей находить уязвимости в программном коде. Выяснилось, что нейросети подвержены тем же систематическим ошибкам мышления, что и люди-разработчики. Это ограничивает надежность автоматизированных систем безопасности, так как модели склонны принимать предвзятые решения при оценке потенциально опасных фрагментов кода, что требует пересмотра подходов к их обучению и тестированию. The Cloudflare Blog · ИИ в бизнесе Cloudflare раскрыла архитектуру автоматизированной системы поиска уязвимостей Компания Cloudflare представила технические детали своей многоступенчатой системы для поиска уязвимостей, работающей на базе автоматизированного цикла обработки данных. Решение позволяет выстраивать цепочки анализа, где ИИ-модели последовательно проверяют код на наличие брешей, минимизируя участие человека в рутинных операциях. Ключевым элементом архитектуры стала система управления состоянием, которая позволяет отслеживать прогресс анализа на разных этапах и эффективно обходить ограничения контекстного окна LLM. Hacker News · Безопасность и алайнмент Использование «опьянения» LLM для поиска уязвимостей в ядре Linux Исследователи представили метод повышения эффективности LLM при поиске уязвимостей типа Out-of-Bounds (OOB) write в ядре Linux. Техника, названная «опьянением» модели, заключается в намеренном снижении параметров температуры и вероятностных ограничений, что заставляет нейросеть исследовать менее очевидные пути в коде и находить критические ошибки, которые обычно игнорируются при стандартных настройках генерации. Hacker News · ИИ в бизнесе Влияние LLM на процесс код-ревью и продуктивность разработки Анализ процесса обработки пулл-реквестов (PR) с помощью LLM показывает, что внедрение ИИ-инструментов радикально меняет динамику инженерных команд. Исследование фокусируется на том, как автоматизация первичного ревью и генерация контекста для изменений влияют на скорость прохождения кода, снижая когнитивную нагрузку на разработчиков и сокращая время ожидания фидбека в крупных проектах. Hacker News · Разработка и инструменты Методология трехслойного ревью для проверки ИИ-кода Исследователи предложили методологию трехслойного ревью для борьбы с проблемой «уверенных, но ошибочных» ответов ИИ при генерации кода. Подход разделяет проверку на синтаксический анализ, логическую верификацию и контекстную оценку безопасности. Это позволяет минимизировать риски внедрения уязвимостей и логических ошибок, которые часто остаются незамеченными при поверхностном просмотре кода, созданного нейросетями. arXiv · Безопасность и алайнмент Комплексный обзор уязвимостей в жизненном цикле LLM-систем Исследователи представили масштабный обзор уязвимостей в современных LLM-системах, которые вышли за рамки простых текстовых генераторов. Авторы анализируют риски на всех этапах жизненного цикла моделей: от подготовки данных до интеграции в автономные агентные среды. Работа систематизирует векторы атак, методы защиты и открытые проблемы безопасности, возникающие при использовании ИИ в критически важных корпоративных и инфраструктурных процессах.

← Все материалы