arXiv · 14.06.2026 ·Безопасность и защита ИИ-агентов

GAS-Leak-LLM: генетический алгоритм для взлома LLM

Исследователи из Университета Торонто и MIT представили новый метод взлома языковых моделей (LLM) — GAS-Leak-LLM. Этот подход использует генетические алгоритмы для оптимизации суффиксов в запросах, что позволяет обходить механизмы защиты и получать нежелательные ответы от моделей. Авторы демонстрируют, что даже хорошо защищённые коммерческие системы уязвимы к таким атакам.

GAS-Leak-LLM работает в чёрном ящике, то есть не требует доступа к внутренним параметрам модели. Это делает метод особенно опасным, так как он может быть применён к любой LLM без знания её архитектуры. Исследователи показывают, что их подход эффективнее существующих техник взлома, таких как prompt injection или adversarial prompts.

Для разработчиков ИИ-агентов, таких как Jarv, это исследование важно по нескольким причинам. Во-первых, оно показывает, что даже самые современные механизмы защиты могут быть обойдены. Во-вторых, метод GAS-Leak-LLM может быть использован для тестирования и улучшения собственных систем защиты. В-третьих, это напоминает о необходимости постоянного мониторинга и обновления механизмов безопасности.

Авторы предлагают несколько рекомендаций по улучшению защиты LLM, включая использование более сложных механизмов детекции и блокировки вредоносных запросов. Они также предлагают исследовать возможности использования генетических алгоритмов для улучшения защиты, а не только для взлома. Исследование опубликовано на arXiv и доступно по ссылке.

Источник: arXiv

Похожие материалы

Hacker News · Безопасность ИИ Почему идеальной защиты от джейлбрейков LLM не существует Исследователи из MIT и других университетов опубликовали работу, в которой доказывают невозможность создания идеальной защиты от джейлбрейков для больших языковых моделей (LLM). Авторы обобщают существующие методы защиты и показывают, что ни один из них не может гарантировать абсолютную безопасность. arXiv · Диагностика ошибок в LLM Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. arXiv · ИИ и наука ИИ автоматизирует проверку воспроизводимости исследований Учёные из Гарварда и MIT разработали метод, позволяющий использовать большие языковые модели (LLM) для автоматизированной оценки воспроизводимости исследований в социальных и поведенческих науках. Обычно проверка воспроизводимости требует ручного анализа данных независимыми исследователями, что занимает много времени и ресурсов. Новый подход позволяет значительно ускорить этот процесс, применяя LLM для анализа опубликованных данных и оценки их достоверности. Hacker News · Персонализация LLM для агентов Guardian Angels: персонализация LLM для повышения продуктивности и безопасности Проект Guardian Angels представляет собой фреймворк для персонализации больших языковых моделей (LLM) с целью повышения продуктивности и безопасности. Разработчики предлагают использовать индивидуальные настройки и адаптацию моделей под конкретные задачи пользователей, что может быть полезно для создания ИИ-агентов. Hacker News · ИИ-агенты и автоматизация Как LLM-агент взламывает Salesforce Sites Исследователи из Reco.ai продемонстрировали, как LLM-агент может автоматизировать процесс тестирования безопасности сайтов, построенных на Salesforce Sites. В их эксперименте агент использовал методы, аналогичные тем, которые применяют хакеры, чтобы находить уязвимости в системах. Это важно для разработчиков ИИ-агентов, так как показывает, как можно использовать LLM для автоматизации сложных задач, требующих анализа и принятия решений. arXiv · Защита ИИ-моделей Knowledge Trap защищает модели от кражи знаний через ловушки Исследователи из MIT и других университетов предложили новый способ защиты языковых моделей от кражи знаний. В статье, опубликованной на arXiv, они описывают метод Knowledge Trap, который использует "медовые ловушки" для знаний (Honeypot Knowledge Graph, HKG) и хлебные крошки для направления атак на нерелевантные данные. The Gradient · ИИ и финансовые рынки Как LLMs меняют финансовые рынки и инвестиции В 2023 году ИИ-революция привлекла огромные инвестиции в частные и публичные компании, а также завоевала внимание широкой аудитории. Одним из ключевых драйверов этого роста стали большие языковые модели (LLMs), которые лежат в основе таких продуктов, как ChatGPT. Эти модели демонстрируют удивительную способность моделировать последовательности токенов, представляющих слова или их части, что открывает новые возможности для анализа и прогнозирования на финансовых рынках. arXiv · Обучение ИИ-агентов Новый метод обучения LLM через промежуточное RL Исследователи предложили новый подход к обучению языковых моделей (LLM) с использованием reinforcement learning (RL) на промежуточном этапе обучения. В статье, опубликованной на arXiv, авторы показывают, что традиционные методы RL с редкими наградами (sparse reward RL) сильно зависят от начальной подготовки модели. Hacker News · ИИ и работа инженеров Как LLMs меняют работу инженеров Исследование компании Aha.io показывает, как языковые модели меняют подходы инженеров к разработке. По данным опроса, 78% инженеров используют LLMs для генерации кода, 65% — для отладки, а 52% — для проектирования архитектуры. Это существенный сдвиг в индустрии, который требует пересмотра процессов и инструментов. Hacker News · Безопасность ИИ-агентов Исследование: как пользовательский контент может отравить ИИ-агентов Исследователи из MIT и Университета Карнеги-Меллона опубликовали работу, в которой показано, как пользовательский контент может «отравить» ИИ-агентов, особенно тех, которые работают с глубокими исследованиями. В статье рассматриваются сценарии, в которых злоумышленники могут встраивать вредоносные данные в пользовательские запросы, что приводит к искажению работы агентов.

← Все материалы