Разработан новый MCP-сервер (Model Context Protocol), который позволяет языковым моделям, в частности Claude, взаимодействовать с графическим интерфейсом macOS. Инструмент использует AppleScript для имитации действий пользователя: кликов по меню, навигации по окнам и выполнения системных команд. Это расширяет возможности агентов, позволяя им управлять десктопными приложениями напрямую.
Ключевая особенность реализации заключается в механизме самокоррекции. Если агент совершает ошибку при выполнении действия или сталкивается с непредвиденным состоянием интерфейса, он может проанализировать результат и предпринять повторную попытку. Система предоставляет модели контекст о текущем состоянии экрана, что дает возможность автоматизировать сложные рабочие процессы, требующие визуального подтверждения действий.
Данное решение интегрируется в архитектуру MCP, обеспечивая стандартизированный способ подключения ИИ-агентов к локальной среде операционной системы. Использование протокола позволяет абстрагироваться от специфики конкретных приложений, предоставляя модели унифицированный интерфейс для управления компьютером. Проект доступен в открытом доступе для тестирования агентных сценариев автоматизации на macOS.