Исследователи JFrog обнаружили случай регистрации критической уязвимости CVE в базе данных SQLite, которая оказалась полностью вымышленной. Ошибка возникла из-за того, что ИИ-инструменты для анализа кода и автоматизированные системы генерации отчетов приняли галлюцинации языковых моделей за реальные угрозы, что привело к созданию фиктивных записей в базах данных безопасности.
Этот инцидент демонстрирует серьезную проблему «отравления» данных в индустрии кибербезопасности. Автоматизированные системы, использующие LLM для сканирования репозиториев и поиска уязвимостей, начали генерировать отчеты о несуществующих багах, основываясь на неверных интерпретациях кода. В результате специалисты по безопасности вынуждены тратить время на проверку фейковых угроз, что снижает эффективность реальных процессов защиты.
Ситуация подчеркивает риски слепого доверия к ИИ-агентам в критически важных инфраструктурных задачах. Когда системы генеративного ИИ используются для автоматического создания CVE-отчетов без должной верификации человеком, это создает шум, который может скрыть реальные векторы атак. Эксперты призывают к внедрению строгих механизмов проверки и обязательной человеческой экспертизы при публикации данных об уязвимостях.
Ключевые факты
- Исследователи JFrog выявили, что ИИ-модели ошибочно классифицировали обычные участки кода SQLite как критические уязвимости.
- Ложная запись была внесена в реестр CVE, что потребовало последующего опровержения и удаления данных.
- Автоматизированные инструменты анализа кода, полагающиеся на LLM, склонны к «галлюцинациям», создавая несуществующие угрозы безопасности.
- Инцидент ставит под сомнение надежность автоматизированных систем отчетности об уязвимостях без участия экспертов-людей.