Talkthru — это новый инструмент, позволяющий разработчикам передавать ИИ-агентам контекст через записанные видео с экрана, сопровождаемые голосовыми комментариями. Система автоматически транскрибирует аудио и синхронизирует его с действиями на видео, создавая структурированные данные для обучения или управления агентными процессами. Это упрощает передачу сложных инструкций, которые сложно описать текстовым промптом.
Основная задача проекта — преодолеть разрыв между визуальным представлением задачи и её программной реализацией. Вместо написания длинных спецификаций пользователь может просто записать процесс работы в IDE или браузере, проговаривая свои действия. Talkthru преобразует этот поток в формат, понятный для LLM, что позволяет агентам точнее воспроизводить последовательность действий или анализировать поведение пользователя в конкретном рабочем окружении.
Такой подход особенно эффективен для отладки, документирования сложных сценариев и обучения агентов специфическим паттернам взаимодействия с интерфейсами. Инструмент ориентирован на интеграцию в рабочие процессы разработки, где визуальный контекст критически важен для корректной интерпретации намерений пользователя.
Ключевые факты
- Инструмент автоматизирует связку между визуальным рядом (скринкастом) и аудио-инструкциями.
- Система предназначена для подготовки контекста, который затем передается в LLM для выполнения агентных задач.
- Решение сфокусировано на снижении порога входа при настройке ИИ-агентов для работы с интерфейсами.
- Проект доступен в формате open-source на платформе GitHub для интеграции в существующие агентные пайплайны.