Hacker News · 18.06.2026 ·Безопасность и алайнмент

Выпущен инструмент AICU для автоматизированного поиска уязвимостей в LLM

Представлен проект AICU — специализированный сканер для поиска уязвимостей в больших языковых моделях (LLM). Инструмент предназначен для проведения автоматизированного «красного тестирования» (red teaming), позволяя выявлять слабые места в защите моделей, которые могут привести к генерации нежелательного контента или обходу установленных ограничений безопасности.

Принцип работы AICU основан на использовании набора атакующих промптов и методов, направленных на провокацию модели. Система анализирует ответы ИИ, оценивая их на соответствие заданным политикам безопасности. Такой подход помогает разработчикам и специалистам по информационной безопасности выявлять потенциальные векторы атак на ранних этапах интеграции моделей в продукты, снижая риски эксплуатации уязвимостей конечными пользователями.

Инструмент ориентирован на проверку устойчивости моделей к различным типам манипуляций, включая попытки принудительного изменения поведения или извлечения конфиденциальных данных из обучающей выборки. Использование подобных автоматизированных решений позволяет стандартизировать процесс оценки безопасности ИИ-систем и сократить время, необходимое для проведения ручного тестирования моделей перед их выводом в эксплуатацию.

Источник: Hacker News

Похожие материалы

The Cloudflare Blog · ИИ в бизнесе Cloudflare раскрыла архитектуру автоматизированной системы поиска уязвимостей Компания Cloudflare представила технические детали своей многоступенчатой системы для поиска уязвимостей, работающей на базе автоматизированного цикла обработки данных. Решение позволяет выстраивать цепочки анализа, где ИИ-модели последовательно проверяют код на наличие брешей, минимизируя участие человека в рутинных операциях. Ключевым элементом архитектуры стала система управления состоянием, которая позволяет отслеживать прогресс анализа на разных этапах и эффективно обходить ограничения контекстного окна LLM. arXiv · Машинное обучение OpenAnt: новый подход к автоматическому поиску уязвимостей в коде с помощью LLM Исследователи представили OpenAnt — фреймворк для автоматизированного поиска уязвимостей в крупных репозиториях программного обеспечения. Система объединяет возможности больших языковых моделей с методами декомпозиции кода, состязательной верификации и динамического тестирования. Такой подход позволяет преодолеть ограничения традиционных инструментов статического анализа, которые часто выдают избыточное количество ложноположительных срабатываний, и динамических фаззеров, требующих сложной инфраструктуры. Hacker News · Безопасность и алайнмент Как ИИ влияет на уязвимости в программном обеспечении Исследование Anthropic изучает влияние языковых моделей на обнаружение и эксплуатацию уязвимостей в программном обеспечении. Учёные проанализировали, как ИИ может помочь в поиске и устранении уязвимостей, а также в создании эксплойтов. Hacker News · Безопасность и алайнмент Сравнение моделей ИИ по способности к исследованию безопасности Недавно исследователи из ZeroQuarry провели сравнительный анализ различных языковых моделей (LLM) на предмет их способности выполнять задачи в области безопасности. В исследовании участвовали модели от OpenAI, Mistral, Anthropic и других, которые тестировались на различных сценариях, связанных с выявлением уязвимостей, анализом кода и генерацией рекомендаций по защите. arXiv · Безопасность и алайнмент Динамический анализ жизненного цикла для защиты ML-моделей Исследователи представили новый подход к обеспечению безопасности машинного обучения, направленный на выявление вредоносного кода, скрытого внутри весов и архитектур предобученных моделей. Традиционные методы защиты, основанные на статическом анализе форматов файлов и поиске известных сигнатур атак, часто оказываются неэффективными против современных угроз, способных обходить стандартные фильтры. Lobsters · Безопасность и алайнмент Как ограничивать ИИ-агентов для безопасной работы Разработчики ИИ-агентов сталкиваются с проблемой: как ограничить поведение моделей так, чтобы они не выходили за рамки допустимого, но при этом оставались полезными. В статье на Aeracode рассматриваются подходы к ограничению LLM (Large Language Models), которые могут быть полезны при создании ИИ-агентов. arXiv · Исследования и наука Исследование: классификация киберугроз с помощью открытых моделей Учёные изучили, как открытые языковые модели могут автоматизировать классификацию киберугроз по стандарту MITRE ATT&CK. Ранее этот процесс требовал значительных человеческих усилий, а до появления LLM автоматизация была ограничена сложностью анализа неструктурированных отчётов о киберугрозах (CTI). arXiv · Исследования и наука ИИ автоматизирует проверку воспроизводимости исследований Учёные из Гарварда и MIT разработали метод, позволяющий использовать большие языковые модели (LLM) для автоматизированной оценки воспроизводимости исследований в социальных и поведенческих науках. Обычно проверка воспроизводимости требует ручного анализа данных независимыми исследователями, что занимает много времени и ресурсов. Новый подход позволяет значительно ускорить этот процесс, применяя LLM для анализа опубликованных данных и оценки их достоверности. Hacker News · Разработка и инструменты Инструмент для контроля качества и поиска персональных данных в LLM-пайплайнах Разработчики представили Flexorch-audit — специализированный инструмент для оценки качества ответов и обнаружения конфиденциальной информации (PII) в цепочках обработки данных с использованием больших языковых моделей. Решение ориентировано на автоматизацию проверки контента, который генерируют или обрабатывают ИИ-системы, что критически важно для соблюдения стандартов безопасности и точности в корпоративных средах. Hacker News · Безопасность и алайнмент OpenACA — сканер безопасности для стеков ИИ-агентов Разработчики представили OpenACA — инструмент для сканирования безопасности стеков ИИ-агентов. Платформа проверяет MCP-серверы, навыки и плагины на уязвимости, которые могут быть использованы злоумышленниками.

← Все материалы