arXiv · 16.06.2026 ·Инфраструктура для агентов

Уязвимость в Handlebars-промптах для LLM

Исследователи обнаружили уязвимость в Handlebars, популярном движке шаблонов, используемом в Microsoft Semantic Kernel. Проблема связана с двойными и тройными фигурными скобками в промптах: двойные {x} экранируют HTML, а тройные {x} вставляют значение без экранирования. Это может привести к уязвимостям при работе с недоверенными данными.

Исследование показывает, что выбор между этими синтаксисами может влиять на безопасность приложений, использующих LLM. Разработчики должны учитывать этот нюанс при проектировании промптов, особенно если данные поступают из ненадёжных источников.

Авторы статьи также отмечают, что HTML-экранирование не всегда защищает от всех видов атак, и предлагают дополнительные меры предосторожности. Это важно для разработчиков, создающих системы на основе LLM, где безопасность данных критически важна.

Статья опубликована на arXiv и доступна для дальнейшего изучения. Исследователи рекомендуют внимательно проверять шаблоны промптов и использовать дополнительные механизмы защиты, чтобы минимизировать риски.

Источник: arXiv

Похожие материалы

arXiv · Безопасность и алайнмент GAS-Leak-LLM: генетический алгоритм для взлома LLM Исследователи из Университета Торонто и MIT представили новый метод взлома языковых моделей (LLM) — GAS-Leak-LLM. Этот подход использует генетические алгоритмы для оптимизации суффиксов в запросах, что позволяет обходить механизмы защиты и получать нежелательные ответы от моделей. Авторы демонстрируют, что даже хорошо защищённые коммерческие системы уязвимы к таким атакам. Hacker News · Безопасность и алайнмент Почему идеальной защиты от джейлбрейков LLM не существует Исследователи из MIT и других университетов опубликовали работу, в которой доказывают невозможность создания идеальной защиты от джейлбрейков для больших языковых моделей (LLM). Авторы обобщают существующие методы защиты и показывают, что ни один из них не может гарантировать абсолютную безопасность. Hacker News · Безопасность и алайнмент Уязвимости в цепочках поставок ИИ-моделей Исследователи обнаружили новые векторы атак на цепочки поставок ИИ-моделей, которые могут привести к серьезным уязвимостям в системах, использующих эти модели. В статье на Substack подробно рассматриваются случаи, когда злоумышленники могут внедрять вредоносный код в модели, которые затем используются в различных ИИ-агентах и сервисах. Hacker News · Безопасность и алайнмент Уязвимость в Microsoft 365 Copilot позволяет воровать данные за один клик Исследователи из безопасности обнаружили новую уязвимость в Microsoft 365 Copilot, которая позволяет злоумышленникам красть данные пользователей всего за один клик. Эта атака использует уязвимость в обработке URL-адресов, что позволяет злоумышленникам встраивать вредоносные ссылки в запросы к Copilot. arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. arXiv · Исследования и наука Исследование: классификация киберугроз с помощью открытых моделей Учёные изучили, как открытые языковые модели могут автоматизировать классификацию киберугроз по стандарту MITRE ATT&CK. Ранее этот процесс требовал значительных человеческих усилий, а до появления LLM автоматизация была ограничена сложностью анализа неструктурированных отчётов о киберугрозах (CTI). arXiv · Исследования и наука ИИ автоматизирует проверку воспроизводимости исследований Учёные из Гарварда и MIT разработали метод, позволяющий использовать большие языковые модели (LLM) для автоматизированной оценки воспроизводимости исследований в социальных и поведенческих науках. Обычно проверка воспроизводимости требует ручного анализа данных независимыми исследователями, что занимает много времени и ресурсов. Новый подход позволяет значительно ускорить этот процесс, применяя LLM для анализа опубликованных данных и оценки их достоверности. arXiv · Машинное обучение Исследование: как устранить избыточное рассуждение в LLM Учёные изучили проблему избыточного рассуждения (overthinking) в языковых моделях, когда они продолжают генерировать ненужные шаги после нахождения правильного ответа. Это явление особенно заметно в задачах, требующих длинных цепочек рассуждений (chain-of-thought reasoning). Microsoft Research · Инфраструктура для агентов Исследование Microsoft о надёжности ИИ в делегированных задачах Microsoft опубликовал уточнения к своему исследованию «LLMs Corrupt Your Documents When You Delegate», которое вызвал широкий резонанс в сообществе разработчиков ИИ. В работе рассматриваются проблемы надёжности ИИ-систем при делегировании задач, особенно в долгосрочных сценариях. Исследователи подчеркнули, что их цель — не просто выявить проблемы, но и разработать методы оценки, которые помогут создать более устойчивые системы. Hacker News · Память и RAG Как LLM-агент взламывает Salesforce Sites Исследователи из Reco.ai продемонстрировали, как LLM-агент может автоматизировать процесс тестирования безопасности сайтов, построенных на Salesforce Sites. В их эксперименте агент использовал методы, аналогичные тем, которые применяют хакеры, чтобы находить уязвимости в системах. Это важно для разработчиков ИИ-агентов, так как показывает, как можно использовать LLM для автоматизации сложных задач, требующих анализа и принятия решений.

← Все материалы