Microsoft выпустила инструмент Skill Recorder, предназначенный для записи и воспроизведения действий пользователя в интерфейсе для последующего обучения ИИ-агентов. Решение позволяет фиксировать последовательности кликов, ввода текста и навигации, превращая их в структурированные данные, которые можно использовать для автоматизации бизнес-процессов и создания агентных сценариев без необходимости написания сложного кода.
Инструмент ориентирован на разработчиков, создающих системы автоматизации, где требуется имитация человеческого поведения в веб-приложениях. Skill Recorder упрощает процесс сбора демонстрационных данных (demonstration data), которые критически важны для обучения моделей пониманию пользовательских интерфейсов и выполнения многошаговых задач в корпоративных системах.
Использование подобных инструментов позволяет сократить время на проектирование агентных рабочих процессов. Вместо ручного описания логики взаимодействия с элементами DOM, разработчики могут записать реальный путь пользователя, который затем преобразуется в исполняемый агентный навык. Это значительно повышает точность выполнения задач агентами в сложных интерфейсах, где стандартные API-интеграции могут быть недоступны.
Ключевые факты
- Инструмент разработан Microsoft и опубликован в открытом доступе на GitHub.
- Основная функция заключается в захвате пользовательских действий для создания обучающих датасетов.
- Решение поддерживает запись взаимодействий с элементами веб-интерфейсов для последующей автоматизации.
- Технология направлена на ускорение разработки агентов, способных выполнять задачи в существующих бизнес-приложениях.