Исследователи представили RuBench 1.0 — специализированный бенчмарк для оценки эффективности ИИ-агентов при работе с кодовыми репозиториями на основе запросов на русском языке. В отличие от существующих решений, ориентированных исключительно на английский, RuBench учитывает специфику естественной речи пользователей, что позволяет точнее измерять пригодность моделей для реальных задач технической поддержки и разработки в русскоязычной среде.
Современные инструменты разработки часто тестируются на стандартизированных англоязычных задачах, которые не отражают реальный стиль общения клиентов. Запросы пользователей в жизни часто содержат неформальные описания проблем, контекстные отсылки к бизнес-логике и специфическую терминологию. RuBench восполняет этот пробел, предлагая набор из 25 реальных задач, извлеченных из истории исправлений в популярных репозиториях, где исходные требования были сформулированы разработчиками или пользователями на русском языке.
Использование RuBench позволяет оценить, насколько эффективно агент справляется с пониманием контекста целого репозитория и выполнением правок на основе «живых» тикетов. Это критически важно для компаний, внедряющих агентные системы в процессы автоматизации поддержки и сопровождения ПО, где качество интерпретации неструктурированных запросов напрямую влияет на точность генерации кода и стабильность системы.
Ключевые факты
- RuBench 1.0 включает 25 комплексных задач уровня репозитория, основанных на реальных багфиксах.
- Бенчмарк сфокусирован на задачах, где исходные требования сформулированы на естественном русском языке.
- Методология тестирования имитирует работу агента в условиях реального клиентского запроса, а не академически выверенного технического задания.
- Инструмент предназначен для оценки способности моделей понимать контекст проекта при решении задач по обслуживанию программного обеспечения.