Новое исследование анализирует проблему «галлюцинаций» в больших языковых моделях при обработке корпоративной финансовой отчетности. Авторы работы выявили, что ИИ-системы склонны к генерации недостоверных данных, когда сталкиваются со сложными математическими вычислениями в контексте раскрытия информации. Это создает серьезные риски для автоматизированных систем финансового анализа, требующих высокой точности и проверяемости данных в отчетности.

Исследователи ввели понятие «дисциплины калькулятора», подчеркивая необходимость строгого разделения между лингвистическими способностями моделей и их вычислительными функциями. В ходе экспериментов было доказано, что даже продвинутые LLM часто игнорируют базовые арифметические правила, если они противоречат вероятностным паттернам текста, на котором обучалась модель. Это приводит к систематическим ошибкам в интерпретации балансовых отчетов и показателей прибыли.

Проблема усугубляется тем, что модели часто «уверенно» представляют неверные расчеты, что затрудняет их использование в качестве инструментов для аудита или подготовки финансовой документации без участия человека. Авторы настаивают на внедрении гибридных архитектур, где вычислительные задачи делегируются специализированным программным модулям, а не полагаются на внутренние способности нейросети к логическому выводу.

Ключевые факты

  • Исследование сфокусировано на выявлении ошибок в финансовых данных, сгенерированных LLM при анализе отчетов.
  • Установлено, что модели демонстрируют склонность к «галлюцинациям» в расчетах, даже при наличии корректных исходных данных в контексте.
  • Предложен концепт «дисциплины калькулятора» как метода минимизации ошибок через внешнюю верификацию вычислений.
  • Работа подчеркивает критическую уязвимость ИИ в задачах, требующих строгой математической точности в бизнес-отчетности.