Исследователи представили DigitalCoach — мультимодальный датасет, предназначенный для изучения того, как ИИ-агенты могут обучать людей работе с программным обеспечением. Набор данных включает 72 сессии взаимодействия экспертов и новичков, содержащие более 22 тысяч диалоговых реплик и 28 часов записей экрана. Работа фокусируется на устранении коммуникационных разрывов при передаче навыков использования сложных интерфейсов.
Проект исследует способность агентов не просто автоматизировать задачи, а выступать в роли наставников, способных давать контекстные подсказки и корректировать действия пользователя в реальном времени. В основе методологии лежит анализ того, как эксперты объясняют последовательность действий, и как эти паттерны могут быть интегрированы в агентные системы для улучшения их обучающих функций.
Использование DigitalCoach позволяет оценивать эффективность ИИ в задачах «grounding» — привязки вербальных инструкций к конкретным визуальным элементам интерфейса и действиям ввода. Это критически важный шаг для создания систем, которые могут эффективно поддерживать пользователей в процессе освоения нового корпоративного или специализированного ПО, снижая порог входа для сложных профессиональных инструментов.
Ключевые факты
- Датасет включает 72 сессии взаимодействия между экспертами и новичками.
- Общий объем данных составляет 22 752 диалоговых хода.
- Зафиксировано 28,1 часа записей экрана и событий ввода данных.
- Исследование охватывает работу в пяти различных программных приложениях.
- Основная цель — улучшение коммуникации и точности инструкций при обучении пользователей работе с ПО.