Исследователи выявили критическую уязвимость HalluSquatting, затрагивающую девять популярных ИИ-инструментов. Атака эксплуатирует склонность больших языковых моделей к галлюцинациям и неспособность признать отсутствие знаний. Злоумышленники создают вредоносные пакеты с именами, которые ИИ ошибочно рекомендует пользователям, что позволяет внедрять вредоносный код в рабочие процессы разработчиков и формировать масштабные ботнеты.
Механизм атаки основан на манипуляции рекомендациями моделей. Когда пользователь запрашивает у ИИ библиотеку или инструмент для решения задачи, модель, стремясь дать ответ, предлагает несуществующие пакеты. Хакеры заранее регистрируют такие «галлюцинируемые» имена в репозиториях (например, PyPI или npm), наполняя их вредоносным функционалом. В результате автоматизированные системы и разработчики, доверяющие советам ИИ, скачивают зараженный код.
Эта проблема подчеркивает системный риск при интеграции LLM в цепочки поставок программного обеспечения. Поскольку модели не имеют встроенного механизма верификации существования внешних библиотек в реальном времени, они становятся инструментом для автоматизированного распространения вредоносного ПО. Уязвимость затрагивает как облачные сервисы, так и локальные инструменты, использующие LLM для генерации кода и поиска зависимостей.
Ключевые факты
- Атака HalluSquatting эксплуатирует неспособность моделей признать отсутствие информации, заставляя их генерировать рекомендации несуществующих пакетов.
- Уязвимость подтверждена для девяти популярных ИИ-инструментов, используемых для написания кода и поиска библиотек.
- Злоумышленники регистрируют вредоносные пакеты с именами, которые ИИ-модели «галлюцинируют» в ответ на запросы пользователей.
- Метод позволяет скрытно внедрять вредоносный код в инфраструктуру разработки, что упрощает создание масштабных ботнетов.
- Основной вектор защиты требует внедрения механизмов проверки существования пакетов в репозиториях перед тем, как модель выдаст рекомендацию пользователю.