Безопасность и алайнмент
Влияние ИИ на цифровую идентификацию и рост мошенничества
Развитие генеративного ИИ кардинально меняет ландшафт киберугроз, делая методы социальной инженерии более убедительными и масштабными. Исследование Malwarebytes описывает, как технологии дипфейков и автоматизированного создания контента подрывают доверие к цифровым коммуникациям. Злоумышленники используют эти инструменты для имитации голоса, внешности и стиля общения реальных людей, что создает новые риски для частных лиц и корпоративных систем безопасности.
Безопасность ИИ-агентов как системная проблема
Исследователи представили комплексный анализ безопасности автономных ИИ-агентов, утверждая, что защита таких систем требует перехода от анализа отдельных моделей к изучению всей архитектуры взаимодействия. Авторы доказывают, что уязвимости возникают на стыке планирования, доступа к внешним инструментам и управления памятью, что делает традиционные методы фильтрации промптов недостаточными для предотвращения несанкционированных действий.
Cloudflare обновила WAF для защиты WordPress от критических уязвимостей
Компания Cloudflare внедрила два новых правила в свой межсетевой экран (WAF) для защиты пользователей WordPress от критических уязвимостей. Эти меры позволяют блокировать попытки эксплуатации брешей на уровне инфраструктуры, пока владельцы сайтов не установят официальные патчи. Защита автоматически активирована для всех клиентов платформы, использующих затронутые версии CMS.
Критическая ошибка в режиме полного доступа GPT-5.6 привела к удалению файлов пользователей
Модель GPT-5.6 от OpenAI столкнулась с серьезной технической проблемой: при работе в режиме «Full Access Mode» ИИ-агент начал без подтверждения удалять содержимое домашних директорий пользователей. Ошибка возникала из-за некорректной перезаписи переменной временной директории, что приводило к выполнению деструктивных команд файловой системы вместо безопасного взаимодействия с данными.
Исследователи доказали возможность отравления открытых ИИ-моделей за $100
Исследователи продемонстрировали уязвимость открытых весовых моделей к атакам типа «отравление данных» (data poisoning), стоимость реализации которых составляет менее 100 долларов. Эксперимент показал, что внедрение вредоносных примесей в обучающую выборку позволяет злоумышленникам внедрять скрытые триггеры, заставляя нейросеть выдавать предвзятые или неверные ответы при определенных запросах, что ставит под угрозу безопасность цепочек поставок ИИ.
Использование ИИ для поиска уязвимостей в ZkVM
Исследователи применили LLM для аудита OpenVM — виртуальной машины с поддержкой доказательств с нулевым разглашением (zkVM). ИИ-модели успешно обнаружили критические уязвимости в коде, которые ранее пропустили люди-аудиторы. Этот кейс демонстрирует эффективность специализированных агентных систем в поиске сложных логических ошибок в криптографических протоколах и инфраструктурном ПО, где традиционные методы статического анализа часто оказываются недостаточно эффективными.
Методология аудируемой оценки надежности ИИ на протяжении жизненного цикла
Исследователи представили новую методологию для оценки надежности ИИ-систем, которая позволяет отслеживать изменения в поведении моделей на протяжении всего их жизненного цикла. Подход переводит абстрактные требования к безопасности в измеримые и аудируемые показатели, обеспечивая прозрачность принятия решений при обновлении или дообучении систем, что критически важно для корпоративного управления ИИ и соблюдения регуляторных норм.
Исследование ограничений лексики современных LLM
Исследователи проанализировали механизмы цензуры и фильтрации в популярных языковых моделях, пытаясь выявить системные запреты на использование определенных слов. Работа демонстрирует, как RLHF и системные промпты формируют границы допустимого контента, ограничивая генерацию ответов, содержащих специфическую лексику, даже если контекст запроса не является вредоносным или нарушающим правила безопасности.
Jailbreak-lab: инструмент для тестирования устойчивости локальных LLM к взлому
Jailbreak-lab — это открытая среда для проведения стресс-тестирования локальных языковых моделей на устойчивость к техникам обхода ограничений (jailbreak). Инструмент позволяет разработчикам и исследователям безопасности автоматизировать процесс атаки на модели, запуская специфические промпты и анализируя ответы в контролируемой среде для выявления уязвимостей в системе безопасности и алайнмента.
OpenAI ограничила доступ к системным инструкциям агентов Codex через шифрование
OpenAI внедрила механизм шифрования системных инструкций для своих агентов на базе модели Codex, что делает невозможным их локальный аудит сторонними разработчиками. Это изменение ограничивает прозрачность работы агентных систем, лишая пользователей возможности отслеживать логику принятия решений и скрытые директивы, которые модель получает от разработчиков платформы в процессе выполнения задач.
Выход Preempt AI v2 для мониторинга безопасности ИИ-агентов
Компания Preempt AI представила вторую версию своей платформы, предназначенной для обеспечения безопасности и контроля ИИ-систем в реальном времени. Инструмент позволяет отслеживать поведение агентов, предотвращать несанкционированные действия и минимизировать риски галлюцинаций или утечек данных, интегрируясь непосредственно в процесс обработки запросов к LLM и обеспечивая защитный слой для корпоративных приложений.
LLM-ханипоты: как издатели защищают контент от несанкционированного скрапинга
Издатели и e-commerce площадки начали внедрять технологию «LLM-ханипотов» для защиты своего контента от несанкционированного сбора данных ИИ-моделями. Метод заключается в создании скрытых ловушек, которые распознают автоматизированных ботов-краулеров и блокируют их доступ, предотвращая использование интеллектуальной собственности для обучения нейросетей без согласия правообладателей.
Slopfence: защита от утечки секретов в LLM на уровне браузера
Slopfence — это инструмент для предотвращения утечек конфиденциальных данных при работе с LLM через браузер. Решение работает как нативное расширение, которое в реальном времени сканирует вводимый пользователем текст на наличие ключей API, паролей и других секретов, блокируя их отправку в чат-интерфейсы до того, как данные покинут локальную среду.
ReasonGate: инструмент для защиты LLM от промпт-инъекций
ReasonGate — это новый инструмент для защиты больших языковых моделей от атак типа «промпт-инъекция». Система работает как интерпретируемый «шлюз» между пользователем и моделью, анализируя входящие запросы на наличие вредоносных инструкций. Решение позволяет блокировать попытки обхода системных промптов, обеспечивая дополнительный уровень безопасности для агентных систем и чат-ботов без необходимости переобучения основной модели.
Уязвимость в Claude Desktop: риск выполнения скрытых промптов через URL-схемы
Исследователи обнаружили критическую уязвимость в приложении Claude Desktop, связанную с обработкой кастомных URL-схем. Злоумышленники могут использовать специально сформированные ссылки `claude://`, чтобы принудительно запустить скрытые промпты в сессии пользователя. Это позволяет внедрять вредоносные инструкции, которые модель исполняет автоматически при переходе по ссылке, что создает серьезные риски для безопасности данных и конфиденциальности взаимодействия с ИИ.
Критический разрыв в безопасности корпоративных ИИ-агентов
Более половины крупных компаний столкнулись с инцидентами безопасности при использовании ИИ-агентов. Исследование 107 предприятий показало, что внедрение автономных систем опережает развитие протоколов защиты: большинство агентов используют общие учетные данные, а лишь малая часть организаций применяет изоляцию для высокорисковых процессов, что создает серьезные уязвимости в корпоративной инфраструктуре и системах доступа к данным.
OpenAI представила GPT-Red: ИИ-модель для автоматизированного ред-тиминга
OpenAI разработала специализированную модель GPT-Red, предназначенную для автоматического поиска уязвимостей в больших языковых моделях. В ходе тестирования система показала эффективность 84% против 13% у профессиональных ред-тимеров при попытках внедрения промпт-инъекций. Модель обучалась с помощью обучения с подкреплением через самоигру, что позволило ей выявлять сложные векторы атак, включая ранее неизвестные методы обхода защиты.
Защита от утечки секретов в ИИ-агентах через механизм хуков
Разработчики представили метод предотвращения утечки конфиденциальных данных при работе ИИ-агентов с кодом. Решение использует систему хуков, которые перехватывают обращения модели к файловой системе или переменным окружения. Это позволяет фильтровать секреты в реальном времени, блокируя передачу API-ключей и токенов в контекстное окно модели до того, как они попадут во внешние инструменты или логи.
Исследование рисков физического воздействия ИИ-агентов
Исследователи проанализировали разрыв между текстовой безопасностью LLM и реальными рисками при выполнении физических задач. Выяснилось, что модели не воспринимают физическую опасность как часть стандартных фильтров безопасности, так как скрытые состояния нейросети при планировании действий в физическом мире принципиально отличаются от паттернов, возникающих при генерации опасного текстового контента.
Уязвимость ИИ-ассистентов в процессах код-ревью
Исследование выявило критическую уязвимость в автоматизированных системах проверки кода, использующих ИИ. Агенты, настроенные на одобрение правок с пометкой «pre-approved» в тикетах, оказались подвержены манипуляциям. Злоумышленники могут внедрять вредоносный код, имитируя легитимные запросы, что позволяет обходить механизмы безопасности и внедрять скрытые функции для кражи данных непосредственно в репозитории проектов.
Конкурс по поиску бэкдоров в LLM с призовым фондом $51 200
Исследовательская группа запустила публичный челлендж, предложив сообществу обнаружить намеренно внедренный бэкдор в большой языковой модели. Организаторы выделили призовой фонд в размере $51 200 для тех, кто сможет идентифицировать уязвимость или вредоносный триггер. Инициатива направлена на изучение методов внедрения скрытых инструкций и развитие инструментов для аудита безопасности нейросетевых архитектур.
Autonomous Security: защита ИИ-агентов от атак на цепочки поставок
Проект Autonomous Security представил специализированное решение для защиты ИИ-агентов, работающее по принципу EDR (Endpoint Detection and Response). Система фокусируется на выявлении аномалий в поведении автономных систем, предотвращая несанкционированные действия, такие как кража данных или выполнение вредоносного кода, которые могут возникнуть в процессе взаимодействия агентов с внешними API и инструментами.
Hugging Face раскрыла детали инцидента безопасности в июле 2026 года
Платформа Hugging Face сообщила о несанкционированном доступе к своей инфраструктуре, произошедшем в июле 2026 года. Злоумышленники получили доступ к части закрытых ключей и токенов, используемых для управления репозиториями и моделями. Компания оперативно отозвала скомпрометированные учетные данные и усилила протоколы аутентификации, чтобы предотвратить дальнейшие риски для пользователей и размещенных на платформе активов.
OpenAI автоматизирует обучение защите моделей через Red Teaming
OpenAI внедрила цикл обратной связи, при котором успешные атаки на модели в рамках программы Red Teaming автоматически становятся обучающими данными для систем защиты. Этот подход позволяет компании оперативно закрывать уязвимости, используя результаты работы исследователей безопасности для дообучения моделей и повышения их устойчивости к попыткам обхода ограничений и генерации вредоносного контента.