Исследователи представили Change2Task — систему для автоматического создания обучающих и оценочных сред для ИИ-агентов, пишущих код. Инструмент преобразует историю коммитов и принятые pull-реквесты из реальных репозиториев в верифицируемые задачи. Это позволяет масштабировать подготовку данных, обеспечивая агентов реалистичными условиями разработки, спецификациями и автоматизированными механизмами проверки корректности выполнения кода.
Основная проблема текущих бенчмарков для программирующих агентов заключается в их статичности и ограниченном объеме. Change2Task решает эту задачу, используя накопленный опыт open-source проектов. Система извлекает контекст изменений, восстанавливает состояние программной среды до и после внесения правок и формирует изолированную «песочницу», где агент может попытаться воспроизвести решение задачи, поставленной в исходном pull-реквесте.
Такой подход обеспечивает непрерывный поток данных для обучения и тестирования, так как количество доступных репозиториев на платформах вроде GitHub практически не ограничено. Система не просто копирует код, а создает полноценную инфраструктуру с инструментами разработки и тестами, что позволяет объективно оценивать способность агента работать в условиях реальных кодовых баз, а не в синтетических сценариях.
Ключевые факты
- Change2Task автоматизирует процесс превращения истории pull-реквестов в исполняемые задачи для обучения ИИ.
- Система включает в себя инструменты для настройки среды, формирования спецификаций и верификации результатов работы агента.
- Метод позволяет создавать динамически обновляемые наборы данных, отражающие актуальные практики разработки ПО.
- Решение направлено на устранение дефицита качественных данных для непрерывного обучения и оценки кодинг-агентов.