arXiv · 16.07.2026 ·Оркестрация агентов

Plover: новый подход к управлению GUI-агентами через планирование

Исследователи представили Plover — фреймворк для повышения надежности GUI-агентов, работающих с динамическими интерфейсами. Система использует план-центричный подход, позволяющий агентам сохранять фокус на цели пользователя, несмотря на непредсказуемые изменения макета или всплывающие окна. Решение минимизирует отклонения от заданного сценария, улучшая точность выполнения сложных многошаговых задач в реальных программных средах.

Традиционные мультимодальные агенты часто теряют контекст при работе с визуальными интерфейсами из-за высокой изменчивости элементов. Plover решает эту проблему, разделяя процесс на высокоуровневое планирование и низкоуровневое исполнение действий. Это позволяет системе не просто реагировать на текущий скриншот, а постоянно соотносить свои действия с глобальной стратегией выполнения задачи, что критически важно для автоматизации бизнес-процессов в десктопных приложениях.

Фреймворк демонстрирует значительное снижение количества ошибок при навигации по сложным веб-интерфейсам и корпоративному ПО. Благодаря интеграции механизмов самокоррекции, агент способен распознавать моменты, когда текущее состояние интерфейса не соответствует ожидаемому, и перестраивать последовательность действий без участия человека. Это приближает создание автономных систем, способных стабильно работать в условиях неструктурированных пользовательских сред.

Ключевые факты

Plover внедряет план-центричную архитектуру для управления GUI-агентами, снижая вероятность потери контекста.
Система эффективно справляется с динамическими изменениями макетов и неожиданными диалоговыми окнами, которые часто сбивают стандартные vision-модели.
Фреймворк обеспечивает более высокую точность выполнения многошаговых инструкций по сравнению с классическими методами прямого взаимодействия со скриншотами.
Методология ориентирована на повышение автономности агентов в реальных прикладных средах, где интерфейсы постоянно эволюционируют.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Оркестрация агентов Новый метод обучения GUI-агентов через автономное исследование опыта Исследователи представили метод повышения эффективности мультимодальных веб-агентов при выполнении сложных задач в графических интерфейсах. Подход базируется на автономном исследовании среды и использовании ретроспективного анализа накопленного опыта. Это позволяет компактным open-source моделям значительно улучшить навыки планирования и обобщения действий на различных сайтах, не уступая в качестве работы проприетарным крупным языковым моделям. arXiv · Оркестрация агентов Новый метод обучения агентов для работы с графическими интерфейсами Исследователи представили подход к обучению агентов (Computer-Use Agents), способных выполнять задачи в графических интерфейсах через подкрепляющее обучение. Основная проблема — отсутствие масштабируемых сигналов вознаграждения в десктопных средах — решена с помощью системы автономной оценки. Это позволяет агентам обучаться достижению целей, опираясь на визуальное подтверждение успеха без необходимости ручной разметки данных или создания сложных функций вознаграждения. arXiv · Оркестрация агентов Новый подход к созданию омнимадальных агентов для автономной работы в физическом мире Исследователи представили архитектуру для создания омнимадальных агентов, способных объединять работу с цифровыми инструментами и физическое взаимодействие с окружением. Система решает проблему фрагментации навыков, интегрируя планирование на базе VLM с механизмами автономного восстановления после сбоев, что критически важно для долгосрочной работы агентов в неструктурированных бытовых и производственных условиях без постоянного вмешательства человека. Hacker News · Инфраструктура для агентов Agenlus: фреймворк для обучения браузерных агентов методом проб и ошибок Разработчики представили Agenlus — открытый фреймворк для обучения ИИ-агентов взаимодействию с веб-интерфейсами через метод обучения с подкреплением (Reinforcement Learning). Система позволяет агентам самостоятельно осваивать сложные сценарии навигации и выполнения задач в браузере, обучаясь на собственных ошибках, что снижает зависимость от проприетарных API крупных технологических корпораций и закрытых экосистем. Hacker News · Инфраструктура для агентов Агентный веб в оболочке: новый подход к взаимодействию Разработчики предлагают новый подход к взаимодействию с веб-приложениями через оболочку, отказываясь от традиционных селекторов и скриншотов. В центре концепции — агентный подход, где взаимодействие с вебом происходит через команды в терминале, а не через графический интерфейс. Это может значительно упростить интеграцию веб-сервисов в ИИ-агентов, так как не требует сложной обработки визуальных данных. Hacker News · Инфраструктура для агентов Promptetheus: инструмент для отладки и автоматического исправления ошибок ИИ-агентов Promptetheus — это специализированный фреймворк для мониторинга, трассировки и автоматического восстановления ИИ-агентов при возникновении сбоев. Система позволяет отслеживать цепочки вызовов, выявлять причины неудач в агентных процессах и применять автоматизированные сценарии исправления, что критически важно для обеспечения стабильной работы автономных систем в продакшене и минимизации простоев при выполнении сложных задач. Hacker News · Инфраструктура для агентов Концепция подотчетного исполнения для ИИ-агентов в разработке ПО Исследователи представили фреймворк для обеспечения подотчетности ИИ-агентов, выполняющих задачи в сфере разработки программного обеспечения. Система фокусируется на прозрачности действий агента, позволяя отслеживать цепочку принятия решений и верифицировать результаты работы. Это критически важный шаг для интеграции автономных систем в реальные инженерные процессы, где цена ошибки высока, а необходимость аудита действий является обязательным требованием. Hacker News · Оркестрация агентов Rest of the Owl: фреймворк для автоматизации полного цикла разработки Rest of the Owl — это агентный подход к автоматизации полного цикла разработки программного обеспечения. Система берет на себя выполнение задач от постановки до реализации, используя структурированные шаблоны навыков. Фреймворк ориентирован на создание автономных рабочих процессов, где агент самостоятельно проходит этапы проектирования, написания кода и тестирования на основе четко заданных спецификаций. Hacker News · Инфраструктура для агентов Open Record & Replay: обучение ИИ-агентов через демонстрацию действий на рабочем столе Проект Open Record & Replay предлагает новый подход к обучению ИИ-агентов, позволяя записывать действия пользователя на рабочем столе и преобразовывать их в воспроизводимые сценарии. Инструмент фиксирует последовательность кликов, нажатий клавиш и визуальных изменений, создавая структурированные данные для автоматизации сложных рабочих процессов, которые ранее требовали ручного управления или написания специфических скриптов. Hacker News · Оркестрация агентов Simple-Agent: новый подход к автоматизации разработки ПО Исследователи представили Simple-Agent — фреймворк для создания автономных ИИ-агентов, ориентированный на решение задач по написанию и отладке программного кода. В основе проекта лежит принцип минимизации сложности архитектуры: вместо многоуровневых систем оркестрации разработчики сделали ставку на прямое взаимодействие модели с инструментами разработки. Такой подход позволил достичь высоких показателей производительности на популярных бенчмарках, включая SWE-bench Pro и Verified.

← Все материалы