Fluent — это агент для операционной системы Windows, который позволяет управлять компьютером с помощью естественного языка. Система объединяет возможности мультимодальных моделей (VLM) и дерево доступности (accessibility tree) интерфейса, что позволяет агенту не просто распознавать визуальные элементы, но и взаимодействовать с ними как с программными объектами, обеспечивая высокую точность выполнения задач.
В отличие от решений, полагающихся исключительно на анализ скриншотов, Fluent использует API доступности Windows. Это дает агенту понимание структуры окон, кнопок и полей ввода на уровне кода приложения. Такой подход значительно снижает количество ошибок при кликах и вводе текста, так как система оперирует конкретными идентификаторами элементов, а не только их визуальным представлением.
Интеграция VLM позволяет агенту интерпретировать сложные визуальные контексты, например, находить нужные пункты в меню или распознавать состояние интерфейса, когда стандартные методы доступа ограничены. Пользователь может давать высокоуровневые инструкции, а агент самостоятельно преобразует их в последовательность действий: перемещение курсора, клики, прокрутку или ввод данных в формы.
Ключевые факты
- Fluent разработан как специализированный агент для автоматизации рабочих процессов в среде Windows.
- Система использует комбинацию визуальных моделей (VLM) и дерева доступности (accessibility tree) для навигации по интерфейсу.
- Использование API доступности обеспечивает более высокую надежность взаимодействия с элементами управления по сравнению с чисто визуальными методами.
- Инструмент ориентирован на выполнение многошаговых задач, требующих понимания структуры приложений и визуального контекста экрана.