Команда Column Tax представила TaxCalcBench — специализированный набор данных и инструментов для оценки способности больших языковых моделей выполнять сложные налоговые расчеты. Бенчмарк включает 1000 синтетических сценариев, охватывающих различные аспекты налогового законодательства США, что позволяет объективно измерять точность ИИ-систем в задачах, требующих высокой вычислительной точности и соблюдения нормативных требований.

В отличие от стандартных тестов на общую эрудицию, TaxCalcBench фокусируется на прикладных финансовых вычислениях, где любая ошибка приводит к неверным результатам. Инструмент предоставляет стандартизированную среду для проверки того, насколько эффективно модели справляются с многоэтапной логикой, интерпретацией налоговых форм и применением правил вычета. Это критически важно для автоматизации финансовых сервисов, где цена ошибки крайне высока.

Разработчики открыли доступ к репозиторию, чтобы стимулировать сообщество к созданию более надежных моделей для финтех-отрасли. Использование бенчмарка позволяет компаниям проводить стресс-тестирование своих агентных систем перед их внедрением в реальные бизнес-процессы, связанные с обработкой персональных данных и финансовой отчетностью.

Ключевые факты

  • Бенчмарк содержит 1000 уникальных сценариев для проверки налоговых расчетов.
  • Основная цель проекта — выявление ошибок в логике и вычислениях LLM при работе с финансовыми данными.
  • Инструментарий ориентирован на разработчиков финтех-решений, внедряющих автоматизацию в налоговую отчетность.
  • Проект опубликован в открытом доступе на GitHub под лицензией MIT.
  • Тест позволяет оценить способность моделей следовать сложным нормативным инструкциям в условиях ограниченного контекста.