Исследователи проанализировали проблему ошибок обращения к данным (Data Referencing Errors, DRE) в больших языковых моделях при работе с таблицами. Несмотря на понимание структуры, модели часто некорректно цитируют или пропускают значения, что подрывает надежность промежуточных этапов рассуждений. Авторы работы предложили методы оценки и снижения таких ошибок, повышая точность извлечения информации из структурированных данных.
Проблема DRE заключается в том, что даже при верной интерпретации логики таблицы модель может ошибиться в конкретном числовом или текстовом значении. Это критично для задач, требующих высокой точности, таких как финансовая аналитика или обработка технических отчетов. Ошибки на этапе обращения к данным приводят к накоплению неточностей в цепочке рассуждений, делая итоговый результат недостоверным, даже если общий ход мысли модели выглядит логичным.
В рамках исследования была разработана методология для систематического измерения частоты таких ошибок. Авторы протестировали различные подходы к минимизации DRE, включая методы промпт-инжиниринга и специализированные стратегии обработки табличных данных. Результаты показывают, что внедрение механизмов верификации данных на этапе генерации позволяет значительно сократить количество пропусков и искажений, обеспечивая более высокую надежность ответов в задачах с использованием внешних табличных источников.
Ключевые факты
- Ошибки обращения к данным (DRE) возникают при некорректном цитировании или пропуске значений из таблиц, несмотря на понимание структуры.
- DRE напрямую влияют на надежность промежуточных этапов рассуждений, что ведет к снижению точности финальных ответов.
- Исследование предлагает новые метрики для оценки качества работы моделей с табличными данными.
- Предложенные методы минимизации ошибок позволяют повысить точность извлечения данных без необходимости полной переобучения LLM.