Исследователи проанализировали, как когнитивные эвристики влияют на способность больших языковых моделей находить уязвимости в программном коде. Выяснилось, что нейросети подвержены тем же систематическим ошибкам мышления, что и люди-разработчики. Это ограничивает надежность автоматизированных систем безопасности, так как модели склонны принимать предвзятые решения при оценке потенциально опасных фрагментов кода, что требует пересмотра подходов к их обучению и тестированию.
В ходе работы авторы провели систематическое исследование, чтобы понять, как именно «человеческие» паттерны мышления проявляются в работе LLM. Выяснилось, что модели часто опираются на поверхностные признаки или контекстуальные ассоциации, игнорируя глубокую логику исполнения программы. Это приводит к ложноположительным или ложноотрицательным результатам, когда модель оценивает безопасность кода не на основе его функциональности, а на основе косвенных факторов, напоминающих когнитивные ловушки.
Результаты подчеркивают необходимость разработки новых методов верификации ИИ-ассистентов, используемых в кибербезопасности. Текущие подходы к оценке моделей часто не учитывают психологические аспекты их «рассуждений», что делает их уязвимыми к специфическим типам ошибок. Исследование предлагает новые метрики для оценки устойчивости моделей к подобным искажениям, что критически важно для интеграции ИИ в пайплайны безопасной разработки (DevSecOps).
Ключевые факты
- Исследование впервые систематизировало влияние когнитивных эвристик на процесс обнаружения уязвимостей в коде с помощью LLM.
- Установлено, что модели демонстрируют предвзятость, аналогичную человеческой, при анализе сложных логических структур.
- Выявлено, что текущие бенчмарки безопасности не учитывают когнитивные искажения, что ведет к переоценке реальной эффективности моделей.
- Авторы предложили методологию для выявления и минимизации влияния эвристик в процессах автоматизированного аудита кода.