Компании Mercor и Ramp представили APEX-Accounting — специализированный бенчмарк для тестирования возможностей frontier-моделей в решении прикладных бухгалтерских задач. Набор данных включает 160 комплексных сценариев, имитирующих реальную работу бухгалтера, от сверки счетов и начисления расходов до формирования финансовой отчетности на основе разнородных документов, таких как PDF-файлы и электронные таблицы.
Бенчмарк спроектирован для проверки способности моделей работать в условиях сложных корпоративных систем, где требуется высокая точность и соблюдение логики учета. В отличие от стандартных тестов на логику или программирование, APEX-Accounting требует от ИИ взаимодействия с контекстом, распределенным по нескольким источникам данных, что приближает условия тестирования к реальным бизнес-процессам финансового департамента.
Разработка призвана выявить пробелы в текущих архитектурах моделей при выполнении рутинных, но критически важных для бизнеса операций. Оценка проводится в 10 различных «мирах», каждый из которых содержит уникальную конфигурацию бухгалтерской системы и сопутствующей документации, что исключает возможность простого заучивания ответов и проверяет способность модели адаптироваться к разным форматам данных.
Ключевые факты
- Бенчмарк разработан совместно компаниями Mercor и Ramp.
- Тестовый набор состоит из 160 задач, разделенных на 10 тематических сред.
- В задачи входит сверка счетов, начисление расходов, проводка транзакций и создание отчетов.
- Источники данных для модели включают PDF-документы, таблицы и интерфейсы бухгалтерских систем.