Glass — это новый инструмент, позволяющий ИИ-агентам взаимодействовать с любыми графическими интерфейсами через протокол MCP (Model Context Protocol). Решение реализует цикл «видеть-действовать-отлаживать», предоставляя агентам возможность анализировать состояние экрана, выполнять клики и ввод текста, а также отслеживать ошибки в реальном времени, что расширяет возможности автоматизации рабочих процессов в десктопных приложениях.
Система работает как мост между LLM и операционной системой, транслируя визуальные данные в контекст, понятный модели. Это позволяет агентам выполнять сложные многошаговые задачи в программах, не имеющих API, превращая стандартный интерфейс пользователя в управляемую среду. Инструмент ориентирован на разработчиков, создающих агентные системы, которым требуется прямое взаимодействие с пользовательским софтом.
Интеграция через MCP обеспечивает стандартизированный подход к обмену данными между агентом и визуальным слоем приложения. Разработчики могут использовать Glass для создания сценариев автоматизации, где агент самостоятельно принимает решения на основе того, что он «видит» на экране, и корректирует свои действия при возникновении непредвиденных состояний интерфейса.
Ключевые факты
- Glass реализует полный цикл взаимодействия с GUI: захват изображения, выполнение действий и отладка.
- Инструмент построен на базе протокола MCP, что обеспечивает совместимость с современными агентными фреймворками.
- Решение позволяет автоматизировать работу в приложениях, у которых отсутствует программный интерфейс (API).
- Проект доступен в виде open-source репозитория для интеграции в кастомные агентные архитектуры.