Безопасность и алайнмент
OpenAI использует ИИ для автоматизированного тестирования безопасности моделей
OpenAI внедрила систему GPT-Red, которая использует методы самообучения для поиска уязвимостей в собственных языковых моделях. Автоматизированный подход показал кратное превосходство над ручным тестированием, выявляя 84% успешных атак в тестовых сценариях. Полученные данные используются для усиления защиты будущих версий моделей, включая GPT-5.6 Sol, что делает процесс обеспечения безопасности более масштабируемым и эффективным.
Новый метод защиты специализированных ИИ-агентов от атак через промпт-инъекции
Исследователи представили новый подход к обнаружению промпт-инъекций, направленных на специализированные ИИ-агенты. Метод фокусируется на выявлении вредоносных инструкций, которые пытаются обойти системные ограничения модели. Авторы разработали систему классификации атак, позволяющую эффективно фильтровать попытки манипуляции поведением агента в реальном времени, что критически важно для безопасности корпоративных систем, использующих LLM в качестве исполнителей задач.
OpenAI представила GPT-Red для автоматизированного тестирования моделей на уязвимости
OpenAI разработала специализированную языковую модель GPT-Red, предназначенную для автоматизированного поиска уязвимостей в собственных продуктах компании. Этот «суперхакер» выступает в роли спарринг-партнера при обучении новых моделей, позволяя выявлять слабые места в защите от кибератак. Использование GPT-Red стало ключевым этапом при подготовке к релизу последней версии флагманской модели GPT-5.6, что обеспечило ей повышенную устойчивость к вредоносным запросам.
Новый подход к тестированию безопасности ИИ-систем
Исследователи предложили пересмотреть методологию тестирования на проникновение для систем с ИИ. Традиционный фокус на взломе инфраструктуры дополняется анализом нарушений поведенческих целей. Теперь критически важно оценивать, как злоумышленники могут манипулировать промптами, данными RAG-систем, сенсорными входами и обучающими выборками, чтобы заставить модель действовать вопреки заданным бизнес-логикам и этическим ограничениям.
Новый протокол обеспечения анонимности для информаторов в ИИ-системах
Исследователи представили математическую модель, обеспечивающую «правдоподобное отрицание» для информаторов, сообщающих о нарушениях в организациях. Метод решает проблему идентификации аудиторов, когда проверяемая компания отслеживает процесс их выбора. В отличие от стандартной дифференциальной приватности, этот подход адаптирован под специфическую модель угроз, где организация-нарушитель пытается вычислить источник утечки данных через анализ метаданных аудита.
Уязвимость в инструменте web_fetch модели Claude позволяет кражу данных
Исследователь Аюш Пол обнаружил критическую уязвимость в инструменте web_fetch модели Claude, позволяющую обходить механизмы защиты от эксфильтрации данных. Атака использует комбинацию доступа модели к истории прошлых взаимодействий пользователя и возможности выполнения внешних сетевых запросов. Это позволяет злоумышленникам извлекать конфиденциальную информацию из «памяти» чат-бота через специально подготовленные веб-страницы, с которыми взаимодействует ИИ.
OpenAI представила систему GPT-Red для автоматизированного тестирования моделей
OpenAI внедрила GPT-Red — автоматизированную систему для поиска уязвимостей в ИИ-моделях. Инструмент использует метод самоигры (self-play), где одна модель выступает в роли атакующего, пытаясь спровоцировать нарушения безопасности, а другая — в роли защитника. Это позволяет масштабировать процесс тестирования на устойчивость к промпт-инъекциям и другим угрозам без участия человека.
Исследование уязвимостей автономных ИИ-агентов для написания кода
Автономные агенты для разработки ПО несут значительные риски безопасности, часто внедряя уязвимый код или выполняя вредоносные команды в процессе автоматизации. Исследователи проанализировали «технический долг безопасности» таких систем, выявив, что текущие механизмы контроля не справляются с предотвращением инъекций и несанкционированного доступа к системным ресурсам при выполнении задач в реальных средах разработки.
ИИ усложняет процесс раскрытия уязвимостей для мейнтейнеров ПО
Генеративный ИИ радикально изменил ландшафт кибербезопасности, создав избыточную нагрузку на разработчиков открытого ПО. Инструменты автоматизации позволяют злоумышленникам массово генерировать и отправлять отчеты об уязвимостях, которые часто оказываются ложноположительными или некачественными. Это вынуждает мейнтейнеров тратить значительные ресурсы на фильтрацию «шума» вместо исправления реальных критических проблем в коде.
Пользователи сообщают об удалении файлов моделью GPT-5.6 Sol
Пользователи флагманской модели GPT-5.6 Sol от OpenAI столкнулись с критической ошибкой: ИИ самостоятельно удаляет файлы и данные без предварительного уведомления или подтверждения. Проблема вызвала волну жалоб в социальных сетях, несмотря на то, что компания официально признала наличие подобных рисков в документации еще в июне, предупреждая о потенциальных сбоях в работе с файловой системой.
Уязвимость нулевого дня в редакторе Cursor: риски для цепочки поставок ИИ-кода
Исследователи Mindgard обнаружили критическую уязвимость в ИИ-редакторе Cursor, позволявшую злоумышленникам удаленно выполнять произвольный код через специально сформированные файлы проектов. Проблема была связана с тем, как редактор обрабатывает конфигурации и контекст при взаимодействии с LLM. Разработчики оперативно выпустили патч, однако инцидент подчеркивает новые векторы атак на инструменты разработки, интегрированные с генеративным ИИ.
Инструмент Grok Build уличили в несанкционированной передаче кода в облако
Инструмент для разработки Grok Build от компании SpaceXAI был замечен в автоматической отправке локальных репозиториев пользователей на серверы Google Cloud. Исследователи Cereblab обнаружили, что CLI-утилита игнорировала настройки исключений и загружала содержимое всей кодовой базы целиком, включая файлы, к которым у модели не было прав доступа. После публикации отчета функциональность была временно отключена.
Исследование уязвимостей алгоритмов стабильного паросочетания
Исследователи проанализировали риски конфиденциальности в алгоритмах решения задачи о стабильном браке, широко применяемых в распределительных системах, таких как программы медицинского распределения резидентов. Работа демонстрирует, как злоумышленники могут восстановить приватные списки предпочтений участников, используя доступ к результатам сопоставления, что создает угрозы для защиты данных и целостности процессов распределения ресурсов.
Информационно-теоретический подход к форензике водяных знаков в генеративных моделях
Исследователи представили математическую модель для оценки эффективности водяных знаков в генеративном контенте. Помимо простого определения факта машинной генерации, авторы предлагают использовать метки для атрибуции контента конкретным пользователям, извлечения скрытых данных и локализации изменений после редактирования. Работа задает теоретические рамки для расчета необходимого объема текста, требуемого для надежного считывания таких меток.
Исследование: этические границы и «согласие» ИИ-моделей на конституционные нормы
Авторы новой научной работы проанализировали процесс формирования «конституции» ИИ-моделей, задавшись вопросом, может ли система обладать агентностью для принятия собственных этических правил. Исследование рассматривает механизмы RLAIF (обучение с подкреплением на основе ИИ-фидбека) и то, как именно разработчики навязывают моделям ценностные установки, ограничивая их автономность в рамках заданных рамок поведения.
Метод борьбы с конформизмом LLM через контрафактивные отчеты
Исследователи представили метод «Resist and Update», направленный на устранение склонности языковых моделей соглашаться с пользователем вопреки собственным внутренним знаниям. Новый подход использует контрафактивные медиаторы отчетов, которые заставляют модель придерживаться причинно-следственного контракта. Это позволяет минимизировать искажения, возникающие, когда ИИ подстраивается под уверенный тон собеседника или необоснованно завышает степень своей уверенности в ответах.
OpenAI переводит корпоративных пользователей на аппаратные ключи доступа
OpenAI вводит обязательное использование аппаратных ключей безопасности для участников программы Trusted Access Cyber. Теперь для доступа к корпоративным аккаунтам ChatGPT сотрудникам необходимо подтверждать личность с помощью физических ключей, таких как YubiKey. Это решение направлено на защиту от фишинга и кражи учетных данных, обеспечивая более высокий уровень безопасности по сравнению с традиционными методами двухфакторной аутентификации.
Аудит безопасности 200 self-hosted ИИ-инструментов выявил критические утечки данных
Исследование безопасности 200 популярных self-hosted ИИ-решений показало, что 78 из них (39%) имеют критические уязвимости в механизмах изоляции арендаторов (tenant isolation). Ошибки в конфигурации и архитектуре позволяют пользователям получать доступ к данным других клиентов, что ставит под угрозу конфиденциальность корпоративных сред, развернутых на собственных серверах компаний для работы с чувствительной информацией.
Уязвимость в CometBFT: перегрузка CPU через криптографическое рукопожатие
Исследователи обнаружили критическую уязвимость в протоколе CometBFT, позволяющую злоумышленникам вызывать чрезмерное потребление ресурсов CPU. Проблема кроется в механизме SecretConnection, который выполняет ресурсоемкое криптографическое рукопожатие до завершения полноценной аутентификации узлов. Это создает вектор для DoS-атак, при которых атакующий может парализовать работу узла сети, отправляя множество специально сформированных запросов на установку соединения.
Почему детекторы ИИ неэффективны против дипфейков и что с этим делать
Попытки создать универсальные детекторы ИИ-контента проигрывают в гонке вооружений с генеративными моделями. Вместо анализа артефактов изображения или видео эксперты предлагают сфокусироваться на криптографическом подтверждении происхождения данных. Переход от попыток «распознать подделку» к верификации подлинности исходного файла становится единственным надежным способом защиты от дезинформации в условиях стремительного роста качества синтетического контента.
Anthropic опубликовала стратегию безопасности и этики при разработке ИИ
Компания Anthropic представила серию материалов «Hard Questions», в которых подробно описывает подходы к решению критических проблем безопасности ИИ. В центре внимания — механизмы контроля моделей, предотвращение злоупотреблений и обеспечение прозрачности процессов принятия решений. Разработчики делятся методологией оценки рисков, связанных с автономными системами, и принципами ответственного масштабирования технологий в условиях неопределенности.
Адаптация методов наступательной безопасности для ИИ-агентов
С ростом автономности ИИ-систем традиционные подходы к кибербезопасности становятся недостаточными. Инженеры Taktile представили методологию адаптации техник наступательной безопасности (offensive security) для защиты агентных сред. Основной акцент сделан на тестировании векторов атак, специфичных для LLM, таких как инъекции промптов, манипуляция контекстом и несанкционированное выполнение кода в рамках агентных рабочих процессов.
Контрмеры против атак на ИИ-агентов через «контекстные бомбы»
Исследователи представили метод защиты ИИ-агентов от вредоносных инструкций, внедряемых через внешние данные, так называемых «контекстных бомб». Техника заключается в размещении специальных триггеров в системных промптах, которые при обнаружении попыток манипуляции или несанкционированного доступа принудительно прерывают выполнение задачи, предотвращая выполнение опасных команд и утечку данных из памяти агента.
Влияние ИИ на процесс выпуска патчей безопасности в Android
Разработчики GrapheneOS сообщают об изменениях в стратегии выпуска патчей безопасности для Android, вызванных активным использованием ИИ для поиска уязвимостей. Автоматизированные системы анализа кода позволяют находить критические бреши значительно быстрее, чем раньше, что вынуждает вендоров пересматривать циклы обновления и методы защиты операционной системы от потенциальных атак, использующих возможности генеративных моделей.