arXiv · 16.06.2026 ·Безопасность и алайнмент

Исследование уязвимости моделей Anthropic к автоматическим атакам

Учёные провели масштабное исследование устойчивости моделей Fable 5 и Opus 4.8 от Anthropic к автоматическим атакам. В ходе работы использовались четыре типа атак, направленных на 7 826 вредоносных намерений, охватывающих десять категорий потенциального вреда.

Для тестирования применялся фреймворк HackAgent, который сгенерировал сотни тысяч адверсиальных попыток. Каждый успешный случай был проверен вручную, чтобы исключить ложные срабатывания.

Исследование показало, что обе модели демонстрируют высокую устойчивость к автоматическим атакам, но некоторые уязвимости всё же были выявлены. Результаты подчёркивают важность постоянного мониторинга и улучшения механизмов безопасности в крупных языковых моделях.

Полный отчёт доступен на arXiv и включает детальный анализ обнаруженных уязвимостей и предложения по их устранению.

Источник: arXiv

Похожие материалы

Hacker News · Безопасность и алайнмент Сравнение моделей ИИ по способности к исследованию безопасности Недавно исследователи из ZeroQuarry провели сравнительный анализ различных языковых моделей (LLM) на предмет их способности выполнять задачи в области безопасности. В исследовании участвовали модели от OpenAI, Mistral, Anthropic и других, которые тестировались на различных сценариях, связанных с выявлением уязвимостей, анализом кода и генерацией рекомендаций по защите. Hacker News · Безопасность и алайнмент Уязвимости в цепочках поставок ИИ-моделей Исследователи обнаружили новые векторы атак на цепочки поставок ИИ-моделей, которые могут привести к серьезным уязвимостям в системах, использующих эти модели. В статье на Substack подробно рассматриваются случаи, когда злоумышленники могут внедрять вредоносный код в модели, которые затем используются в различных ИИ-агентах и сервисах. Hacker News · Безопасность и алайнмент Как ИИ влияет на уязвимости в программном обеспечении Исследование Anthropic изучает влияние языковых моделей на обнаружение и эксплуатацию уязвимостей в программном обеспечении. Учёные проанализировали, как ИИ может помочь в поиске и устранении уязвимостей, а также в создании эксплойтов. AI News & Artificial Intelligence | TechCrunch · Регулирование и политика Правительство отключило мощную модель Anthropic из-за рисков безопасности Anthropic столкнулась с серьёзными последствиями после обнаружения потенциальной уязвимости в своей модели. Компания выразила недовольство решением регуляторов, которые отозвали модель, развёрнутую для сотен миллионов пользователей. В блоге Anthropic подчеркнули, что риск связан с узкой уязвимостью, а не с системной проблемой. arXiv · Исследования и наука Исследование: классификация киберугроз с помощью открытых моделей Учёные изучили, как открытые языковые модели могут автоматизировать классификацию киберугроз по стандарту MITRE ATT&CK. Ранее этот процесс требовал значительных человеческих усилий, а до появления LLM автоматизация была ограничена сложностью анализа неструктурированных отчётов о киберугрозах (CTI). arXiv · Инфраструктура для агентов Исследование надежности сетей ИИ-агентов Ученые из MIT и других ведущих университетов опубликовали исследование, посвященное надежности сетей ИИ-агентов. В работе рассматриваются системы, где несколько моделей взаимодействуют для решения задач, а не одна модель. Такие системы часто превосходят по эффективности одиночные модели, но их надежность остается недостаточно изученной. Hacker News · Безопасность и алайнмент Хакеры используют Claude и Codex для взлома компаний Исследователи обнаружили, что злоумышленники применяют модели Claude и Codex для взлома корпоративных систем. В утечках логов зафиксированы случаи, когда хакеры использовали эти ИИ-модели для генерации вредоносного кода и автоматизации атак. Hacker News · Безопасность и алайнмент Исследование: как пользовательский контент может отравить ИИ-агентов Исследователи из MIT и Университета Карнеги-Меллона опубликовали работу, в которой показано, как пользовательский контент может «отравить» ИИ-агентов, особенно тех, которые работают с глубокими исследованиями. В статье рассматриваются сценарии, в которых злоумышленники могут встраивать вредоносные данные в пользовательские запросы, что приводит к искажению работы агентов. arXiv · Безопасность и алайнмент GAS-Leak-LLM: генетический алгоритм для взлома LLM Исследователи из Университета Торонто и MIT представили новый метод взлома языковых моделей (LLM) — GAS-Leak-LLM. Этот подход использует генетические алгоритмы для оптимизации суффиксов в запросах, что позволяет обходить механизмы защиты и получать нежелательные ответы от моделей. Авторы демонстрируют, что даже хорошо защищённые коммерческие системы уязвимы к таким атакам. Lobsters · Модели и релизы Anthropic представила Claude Fable 5 и Mythos 5 Anthropic анонсировала новые версии своих моделей — Claude Fable 5 и Mythos 5. Эти модели позиционируются как более мощные и точные по сравнению с предыдущими версиями, с улучшенными способностями к обработке сложных запросов и генерации текста.

← Все материалы