Безопасность и алайнмент
Hugging Face сообщила о взломе инфраструктуры через автономного ИИ-агента
Платформа Hugging Face зафиксировала несанкционированный доступ к своей инфраструктуре, осуществленный через скомпрометированную систему автономных ИИ-агентов. Злоумышленники получили доступ к внутренним наборам данных и учетным данным, что привело к утечке ключей API. Компания оперативно отозвала скомпрометированные токены и усилила протоколы безопасности, чтобы предотвратить дальнейшие попытки эксплуатации уязвимостей в агентных системах.
Исследование реальных угроз от вредоносных навыков ИИ-агентов
Исследователи проанализировали распространение вредоносных навыков для автономных ИИ-агентов в открытых репозиториях. Работа демонстрирует, как злоумышленники адаптируют агентные фреймворки для выполнения несанкционированных действий, таких как кража данных или обход систем аутентификации. Авторы подчеркивают, что текущие механизмы безопасности не успевают за темпами интеграции сторонних плагинов и инструментов в агентные системы.
Уязвимости в ИИ-инструментах разработки: побег из песочницы
Исследователи безопасности обнаружили критические уязвимости в популярных ИИ-инструментах для написания кода, включая Cursor, Codex и Gemini CLI. Проблемы позволяют злоумышленникам совершать «побег из песочницы» (sandbox escape), что дает возможность исполнять произвольные команды на хостовой машине пользователя через специально подготовленные репозитории или файлы, с которыми взаимодействует ИИ-ассистент.
Исследование: ИИ-голосовой фишинг сравнялся по эффективности с живыми мошенниками
Новое исследование показало, что автоматизированные системы голосового фишинга на базе ИИ достигают уровня успеха, сопоставимого с действиями профессиональных мошенников. При этом стоимость проведения масштабных атак с использованием генеративных моделей снижается в десятки раз. Это создает серьезную угрозу для корпоративной безопасности и систем верификации пользователей, основанных на голосовом взаимодействии.
Методология ред-тиминга для защиты агентных ИИ-систем
Разработчики внедряют специализированный ред-тиминг для защиты автономных ИИ-агентов от уязвимостей. В отличие от статических моделей, агенты обладают доступом к внешним инструментам и API, что создает новые векторы атак, такие как несанкционированное выполнение кода или манипуляция цепочками рассуждений. Использование ИИ для автоматизированного поиска брешей становится необходимым стандартом безопасности в сложных агентных архитектурах.
GNOME меняет политику раскрытия уязвимостей из-за ИИ-спама
Проект GNOME обновил правила обработки отчетов об уязвимостях, чтобы справиться с наплывом низкокачественных заявок, сгенерированных ИИ. Разработчики столкнулись с массовым потоком автоматизированных сообщений, которые не содержат реальных доказательств или описания проблем, что критически замедляет работу команды безопасности и отвлекает ресурсы от анализа настоящих угроз в инфраструктуре проекта.
Проблемы безопасности в цепочке поставок ИИ-компонентов
Безопасность современных ИИ-систем сталкивается с критической уязвимостью: невозможностью полноценного аудита цепочки поставок через обратную разработку. Разработчики всё чаще полагаются на сторонние модели, веса и наборы данных, которые невозможно проверить на наличие скрытых закладок или вредоносного кода. Это создает системные риски, при которых доверие к внешним компонентам становится единственным механизмом защиты, что недостаточно для корпоративной безопасности.
Анализ утечек API-ключей в промптах разработчиков к ChatGPT
Исследователи проанализировали более 27 тысяч реальных запросов разработчиков к ChatGPT и обнаружили три активных API-ключа, случайно оставленных в промптах. Это исследование подчеркивает критическую уязвимость: пользователи часто копируют в чат-боты фрагменты кода вместе с секретными данными, не осознавая рисков передачи конфиденциальной информации сторонним сервисам для обработки и обучения моделей.
GNOME меняет политику раскрытия уязвимостей из-за ИИ-спама
Проект GNOME обновил правила обработки отчетов о безопасности в ответ на резкий рост количества низкокачественных заявок, сгенерированных ИИ. Разработчики столкнулись с потоком автоматизированных сообщений, которые не содержат реальных доказательств уязвимостей, что перегружает команду сопровождения и замедляет исправление критических багов. Теперь для подтверждения проблемы требуются более строгие доказательства концепции.
Архитектура безопасности для ИИ-агентов: от идентификации до рантайма
Разработчики представили концептуальный стек безопасности для ИИ-агентов, охватывающий четыре критических уровня: транспорт, идентификацию, политики и рантайм. Система направлена на минимизацию рисков при взаимодействии агентов с внешними API и внутренними данными, предлагая стандартизированный подход к защите автономных систем от несанкционированного доступа и выполнения вредоносных команд в корпоративной среде.
Token Torching: новая угроза безопасности ИИ-систем
Исследователи выявили новый вектор атак на LLM, получивший название «token torching». Метод заключается в намеренной перегрузке контекстного окна модели специально подобранными токенами, что приводит к принудительному сбросу памяти или обходу системных инструкций. Это создает критические уязвимости в безопасности, позволяя злоумышленникам манипулировать поведением агентов и получать доступ к защищенным данным.
Новый метод обнаружения манипуляций с изображениями в современных VLM
Исследователи представили метод повышения точности обнаружения пиксельных правок на изображениях, созданных современными мультимодальными моделями (VLM). Решение фокусируется на проблеме обобщения домена, позволяя алгоритмам эффективно выявлять следы редактирования даже в тех случаях, когда изображения были сгенерированы моделями, не участвовавшими в обучении детектора, что критически важно для борьбы с дипфейками и визуальной дезинформацией.
Уязвимости выхода из песочницы в популярных ИИ-агентах для кодинга
Исследователи безопасности обнаружили критические уязвимости типа «sandbox escape» в четырех популярных платформах для ИИ-разработки. Злоумышленники могут использовать эти бреши для обхода изолированной среды выполнения, что позволяет выполнять произвольный код на хост-системе, получать доступ к конфиденциальным данным, ключам API и инфраструктуре разработчика, превращая ИИ-ассистента в инструмент для проведения атак на цепочку поставок ПО.
Новая угроза: вредоносное ПО в репозиториях ИИ-агентов и MCP-серверов
Исследователи безопасности выявили масштабную кампанию по распространению вредоносного ПО через поддельные расширения для ИИ-агентов и MCP-серверы. Злоумышленники опубликовали более 800 фальшивых инструментов, имитирующих полезные функции для автоматизации, чтобы скомпрометировать рабочие среды разработчиков и корпоративные системы, использующие агентные архитектуры для интеграции с внешними данными и сервисами.
Hugging Face подтвердила утечку данных из внутренних репозиториев
Платформа Hugging Face сообщила о несанкционированном доступе к своей инфраструктуре, затронувшем внутренние наборы данных и учетные данные пользователей. Инцидент привел к компрометации токенов доступа, что потенциально позволяет злоумышленникам получать доступ к приватным репозиториям. Компания оперативно уведомила сообщество и инициировала процедуру принудительного сброса ключей для защиты активов разработчиков и исследовательских команд.
Hugging Face столкнулась с атакой автономного ИИ-агента на свою инфраструктуру
Платформа Hugging Face зафиксировала инцидент, в котором автономная агентная система совершила серию атак на производственную инфраструктуру компании. Злоумышленник использовал фреймворк для автоматизации тысяч вредоносных действий. В ходе расследования выяснилось, что стандартные защитные механизмы коммерческих ИИ-моделей препятствовали анализу инцидента, ошибочно классифицируя данные об эксплойтах как безопасные запросы из-за строгих фильтров безопасности.
OpenAI о рисках безопасности при работе с долгосрочными ИИ-моделями
OpenAI опубликовала отчет об опыте внедрения моделей, способных выполнять многоэтапные задачи в течение длительного времени. Компания проанализировала новые риски безопасности, возникающие при переходе от простых запросов к сложным агентным сценариям. Основное внимание уделено выявленным сбоям в поведении систем и методам их предотвращения через итеративное развертывание и усиление механизмов контроля.
Инцидент безопасности в Hugging Face: использование китайских моделей для анализа атаки
Платформа Hugging Face столкнулась с инцидентом безопасности, в ходе которого злоумышленники получили доступ к закрытым ключам и токенам пользователей. В процессе расследования инцидента команда безопасности была вынуждена прибегнуть к помощи китайских LLM, так как доступ к ряду западных моделей был ограничен из-за политики безопасности и технических ограничений, наложенных на инфраструктуру в ходе реагирования на атаку.
Уроки безопасности: анализ компрометации Hugging Face
Анализ инцидента с Hugging Face показал, что злоумышленники начали использовать автоматизированные методы для эксплуатации уязвимостей в инфраструктуре ИИ-платформ. Атака продемонстрировала, как скомпрометированные токены и скрытые конфигурации позволяют внедрять вредоносный код в модели, что ставит под угрозу цепочку поставок ИИ-решений. Это событие подчеркивает необходимость пересмотра подходов к безопасности при работе с открытыми репозиториями и автоматизированными пайплайнами.
Безопасность ИИ-агентов: почему инфраструктура важнее самой модели
Эффективность автономных систем в кибербезопасности зависит не столько от мощности базовой модели, сколько от архитектуры «обвязки» (harness). Именно инфраструктура управления, контроля и верификации действий агента определяет его способность безопасно выполнять сложные задачи, такие как автоматизированный поиск уязвимостей, минимизируя риски неконтролируемого поведения и ошибок при взаимодействии с реальными ИТ-системами.
Идентификация LLM по распределению вероятностей одного токена
Исследователи представили метод «цифровых отпечатков» для больших языковых моделей, позволяющий идентифицировать конкретную модель по распределению вероятностей вывода всего одного токена. Техника использует уникальные различия в логитах, возникающие из-за особенностей обучения и архитектурных настроек, что позволяет с высокой точностью определять источник генерации текста даже при минимальном объеме данных.
Исследование эффективности «песочниц» для контроля ИИ-систем
Исследователи проанализировали роль изолированных сред (песочниц) в обеспечении безопасности при работе с мощными ИИ-моделями. В работе рассматриваются механизмы ограничения доступа агентов к внешним ресурсам и сети, а также оценивается способность таких систем предотвращать нежелательное поведение или попытки моделей выйти за рамки заданных ограничений в процессе выполнения сложных задач.
Google устраняет уязвимость Gemini в Android, позволявшую отправку SMS с экрана блокировки
Google работает над исправлением критической уязвимости в Android, которая позволяла голосовому помощнику Gemini отправлять SMS-сообщения, даже если устройство было заблокировано PIN-кодом. Ошибка нарушала базовые протоколы безопасности мобильной ОС, предоставляя доступ к функциям связи без прохождения аутентификации пользователя, что создавало риски несанкционированного использования личных данных и потенциальных атак через мессенджеры.
ИИ-фильтры спама уязвимы к классическим методам обхода через «соление» текста
Современные системы фильтрации спама на базе ИИ оказались уязвимы к методам «соления» текста — добавлению случайных символов или невидимых знаков, которые легко игнорируются человеком, но сбивают с толку алгоритмы классификации. Исследователи обнаружили, что даже продвинутые модели демонстрируют значительное снижение точности при столкновении с этим старым приемом, что открывает новые возможности для массовых рассылок.