Анализ более тысячи реальных промптов показал, что современные ИИ-системы демонстрируют низкий уровень устойчивости при выполнении сложных задач. Средний балл надежности составил всего 31 из 100, что указывает на высокую чувствительность моделей к формулировкам и контексту. Исследование подчеркивает критическую проблему нестабильности генеративных решений при их внедрении в реальные бизнес-процессы и автоматизированные системы.

Авторы проекта проанализировали широкий спектр запросов, с которыми пользователи сталкиваются в повседневной работе с LLM. Выяснилось, что даже незначительные изменения в структуре промпта или порядке инструкций приводят к существенным отклонениям в качестве ответов. Это создает серьезные риски для компаний, полагающихся на предсказуемость ИИ-агентов в задачах, требующих высокой точности и соблюдения заданных параметров.

Результаты указывают на необходимость внедрения более строгих методов тестирования и валидации промптов перед их запуском в продакшн. Вместо полагания на интуитивное составление запросов, разработчикам рекомендуется использовать систематические подходы к оценке устойчивости, чтобы минимизировать вероятность ошибок и галлюцинаций в критически важных сценариях использования.

Ключевые факты

  • Объем выборки составил 1 018 реальных промптов, собранных в ходе эксплуатации ИИ-систем.
  • Средний показатель устойчивости (robustness) моделей зафиксирован на уровне 31 балла из 100 возможных.
  • Исследование подтверждает, что вариативность ответов остается главной преградой для масштабирования ИИ в корпоративной среде.
  • Полученные данные демонстрируют прямую зависимость между качеством промпт-инжиниринга и стабильностью выходных данных модели.