Hacker News · 27.06.2026 ·Безопасность и алайнмент

Использование «опьянения» LLM для поиска уязвимостей в ядре Linux

Исследователи представили метод повышения эффективности LLM при поиске уязвимостей типа Out-of-Bounds (OOB) write в ядре Linux. Техника, названная «опьянением» модели, заключается в намеренном снижении параметров температуры и вероятностных ограничений, что заставляет нейросеть исследовать менее очевидные пути в коде и находить критические ошибки, которые обычно игнорируются при стандартных настройках генерации.

Метод опирается на концепцию расширения пространства поиска за счет дестабилизации предсказаний модели. Вместо того чтобы заставлять LLM выдавать наиболее вероятный и «безопасный» ответ, исследователи провоцируют её на генерацию более рискованных и разнообразных гипотез о структуре памяти. Это позволяет выявлять сложные цепочки вызовов, ведущие к записи данных за пределы выделенных буферов в ядре.

Практическая значимость подхода заключается в автоматизации анализа сложных кодовых баз, где традиционные статические анализаторы часто дают ложноотрицательные результаты. Использование LLM в режиме «повышенной креативности» позволяет находить логические ошибки в управлении памятью, которые требуют глубокого понимания контекста выполнения кода, недоступного для классических инструментов поиска уязвимостей.

Ключевые факты

Метод направлен на обнаружение уязвимостей типа Out-of-Bounds (OOB) write в исходном коде ядра Linux.
Техника «опьянения» модели предполагает манипуляцию параметрами температуры и вероятностного распределения для генерации нестандартных путей анализа.
Подход позволяет находить ошибки, которые пропускают стандартные статические анализаторы кода.
Исследование демонстрирует эффективность LLM в задачах автоматизированного поиска уязвимостей (fuzzing-подобные сценарии) без необходимости запуска полноценного динамического тестирования.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · ИИ в бизнесе Эффективность LLM при аудите безопасности кода на Rust Исследование применения больших языковых моделей для поиска уязвимостей в языке программирования Rust показало неожиданно высокие результаты. Несмотря на встроенные механизмы безопасности Rust, такие как проверка владения памятью, критические ошибки все еще могут возникать в блоках unsafe или при использовании небезопасных API. Использование специализированных промптов и итеративного анализа позволяет нейросетям находить сложные логические дефекты, которые часто пропускают традиционные статические анализаторы. arXiv · Оценка и бенчмарки Исследование: риски использования LLM для автоматического исправления уязвимостей Новое исследование оценило эффективность LLM при устранении программных уязвимостей. Несмотря на способность моделей ускорять процесс написания патчей, их использование несет серьезные риски безопасности. В ходе эксперимента с участием разработчиков выяснилось, что автоматизированные подсказки часто приводят к внедрению новых ошибок или неполному исправлению критических брешей, требуя от специалистов тщательной проверки каждого предложенного решения. Hacker News · Исследования и наука Исследователи обнаружили «нейроны безопасности» в LLM для поиска уязвимостей в коде Исследователи выявили специфические слои нейронов в архитектуре больших языковых моделей, которые отвечают за распознавание уязвимостей в программном коде. Анализ показал, что эти нейронные структуры активируются при обработке небезопасных паттернов, что позволяет использовать их для автоматизированного аудита безопасности. Открытие дает новый метод интерпретации внутренних механизмов принятия решений моделями при анализе кода. arXiv · Безопасность и алайнмент GAS-Leak-LLM: генетический алгоритм для взлома LLM Исследователи из Университета Торонто и MIT представили новый метод взлома языковых моделей (LLM) — GAS-Leak-LLM. Этот подход использует генетические алгоритмы для оптимизации суффиксов в запросах, что позволяет обходить механизмы защиты и получать нежелательные ответы от моделей. Авторы демонстрируют, что даже хорошо защищённые коммерческие системы уязвимы к таким атакам. Hacker News · ИИ в бизнесе Локальные LLM для аудита безопасности кода: возможности и ограничения Исследователи SRLabs проанализировали применимость локальных языковых моделей для автоматизированного поиска уязвимостей в коде. В ходе тестирования моделей, таких как Llama 3 и Mistral, выяснилось, что локальные решения способны конкурировать с облачными аналогами в специфических задачах, однако требуют тщательной настройки промптов и контекстного окна для минимизации ложноположительных срабатываний при анализе безопасности. arXiv · Машинное обучение OpenAnt: новый подход к автоматическому поиску уязвимостей в коде с помощью LLM Исследователи представили OpenAnt — фреймворк для автоматизированного поиска уязвимостей в крупных репозиториях программного обеспечения. Система объединяет возможности больших языковых моделей с методами декомпозиции кода, состязательной верификации и динамического тестирования. Такой подход позволяет преодолеть ограничения традиционных инструментов статического анализа, которые часто выдают избыточное количество ложноположительных срабатываний, и динамических фаззеров, требующих сложной инфраструктуры. arXiv · Исследования и наука ИИ автоматизирует проверку воспроизводимости исследований Учёные из Гарварда и MIT разработали метод, позволяющий использовать большие языковые модели (LLM) для автоматизированной оценки воспроизводимости исследований в социальных и поведенческих науках. Обычно проверка воспроизводимости требует ручного анализа данных независимыми исследователями, что занимает много времени и ресурсов. Новый подход позволяет значительно ускорить этот процесс, применяя LLM для анализа опубликованных данных и оценки их достоверности. arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. Hacker News · ИИ в бизнесе Применение LLM для автоматизированной проверки дизайна печатных плат Исследование возможностей использования больших языковых моделей для верификации проектов печатных плат (PCB) показало потенциал ИИ в автоматизации инженерных проверок. Модели анализируют файлы дизайна, выявляя ошибки в разводке и несоответствия стандартам производства, что позволяет сократить время на ручное ревью и минимизировать количество итераций при подготовке прототипов к изготовлению. arXiv · Безопасность и алайнмент Метод защиты LLM от отравления данных при дообучении Исследователи представили метод «Detect, Unlearn, Restore» для защиты моделей суммаризации текста от атак типа data poisoning. Техника позволяет выявлять вредоносные примеры в обучающей выборке, удалять их влияние на веса модели и восстанавливать исходную производительность системы. Это критически важно для защиты специализированных LLM, которые подвержены манипуляциям через небольшие наборы данных при дообучении.

← Все материалы