arXiv · 10.08.2026 ·Инфраструктура для агентов

Метод борьбы с галлюцинациями GUI-агентов через визуальное сопоставление

Исследователи представили новый подход к GUI-grounding, который позволяет мультимодальным моделям точнее взаимодействовать с интерфейсами. Метод Regression-Free Layout-Aware Matching исключает зависимость от метаданных, фокусируясь на анализе скриншотов. Это решает проблему галлюцинаций, когда агенты ошибочно интерпретируют элементы управления, обеспечивая высокую точность сопоставления инструкций пользователя с координатами объектов на экране.

Современные GUI-агенты постепенно отказываются от использования DOM-структур и метаданных в пользу чисто визуального восприятия через MLLM. Однако стандартные модели часто сталкиваются с трудностями при интерпретации сложных интерфейсов, где семантическая нагрузка элементов не всегда очевидна. Предложенный алгоритм вводит механизм сопоставления, учитывающий пространственную компоновку элементов, что позволяет агенту «видеть» интерфейс подобно человеку, избегая ошибок при кликах или вводе данных.

Технология опирается на иерархический анализ визуальных признаков, что критически важно для автоматизации процессов в приложениях, где структура кода недоступна или динамически меняется. Использование такого подхода повышает надежность агентных систем в реальных сценариях, где требуется высокая точность позиционирования курсора и распознавания интерактивных зон без необходимости глубокой интеграции с внутренним API целевого софта.

Ключевые факты

Метод исключает использование метаданных, переходя к чисто визуальному анализу скриншотов.
Алгоритм Regression-Free Layout-Aware Matching минимизирует галлюцинации при определении координат элементов.
Подход ориентирован на повышение точности выполнения инструкций в мультимодальных моделях (MLLM).
Решение позволяет агентам работать с любыми интерфейсами, где доступен визуальный вывод, независимо от сложности верстки.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Оркестрация агентов Новый метод обучения GUI-агентов через автономное исследование опыта Исследователи представили метод повышения эффективности мультимодальных веб-агентов при выполнении сложных задач в графических интерфейсах. Подход базируется на автономном исследовании среды и использовании ретроспективного анализа накопленного опыта. Это позволяет компактным open-source моделям значительно улучшить навыки планирования и обобщения действий на различных сайтах, не уступая в качестве работы проприетарным крупным языковым моделям. arXiv · Память и RAG Как RAG помогает бороться с галлюцинациями в мультимодальных моделях Исследователи из MIT и других ведущих университетов предложили новый подход к снижению визуальных галлюцинаций в мультимодальных языковых моделях (MLLMs). Эти системы, способные обрабатывать как текстовые, так и визуальные данные, часто демонстрируют уверенность в своих ответах, даже когда визуальные данные слабые или неоднозначные. Это приводит к так называемым "галлюцинациям" — выводам, не соответствующим реальности. arXiv · Оркестрация агентов Новый метод обучения агентов для работы с графическими интерфейсами Исследователи представили подход к обучению агентов (Computer-Use Agents), способных выполнять задачи в графических интерфейсах через подкрепляющее обучение. Основная проблема — отсутствие масштабируемых сигналов вознаграждения в десктопных средах — решена с помощью системы автономной оценки. Это позволяет агентам обучаться достижению целей, опираясь на визуальное подтверждение успеха без необходимости ручной разметки данных или создания сложных функций вознаграждения. arXiv · Машинное обучение WinDOM: новый метод дистилляции для компактных GUI-агентов Исследователи представили WinDOM — метод самодистилляции для обучения компактных моделей (около 2 млрд параметров), предназначенных для навигации по графическим интерфейсам (GUI). Подход решает проблему нехватки размеченных данных и оптимизирует процесс дообучения, позволяя небольшим моделям достигать высокой точности в задачах взаимодействия с элементами интерфейса без привлечения дорогостоящей ручной разметки. Hacker News · Оценка и бенчмарки Метод Лос-Аламосской лаборатории для выявления галлюцинаций в мультимодальных моделях Исследователи из Лос-Аламосской национальной лаборатории представили новый подход к диагностике ошибок в работе мультимодальных моделей, объединяющих зрение и язык. Основная проблема таких систем заключается в склонности к «галлюцинациям» — генерации описаний объектов или событий, которых нет на исходном изображении. Разработанный метод позволяет более точно отслеживать соответствие между визуальными данными и текстовым выводом модели. Hacker News · Оркестрация агентов Qwen-UI-Agent: новый подход к управлению интерфейсами через ИИ Исследователи представили Qwen-UI-Agent — специализированную систему, предназначенную для автоматизации взаимодействия с графическими интерфейсами (GUI). Агент способен воспринимать визуальные элементы экрана, интерпретировать действия пользователя и самостоятельно выполнять сложные цепочки задач в различных приложениях. Решение направлено на повышение автономности ИИ-агентов при работе с десктопным и веб-софтом, имитируя поведение человека при навигации по интерфейсу. Hacker News · ИИ в бизнесе Проблема визуального контекста при разработке ИИ-агентов Разработчики ИИ-агентов сталкиваются с критическим расхождением между тем, как модель интерпретирует дизайн-систему, и тем, как она выглядит в реальности. Агенты часто опираются на устаревшие или неполные текстовые описания компонентов, игнорируя визуальные изменения, что приводит к генерации нерабочего кода или нарушению интерфейсных стандартов в автоматизированных процессах. arXiv · Оркестрация агентов Plover: новый подход к управлению GUI-агентами через планирование Исследователи представили Plover — фреймворк для повышения надежности GUI-агентов, работающих с динамическими интерфейсами. Система использует план-центричный подход, позволяющий агентам сохранять фокус на цели пользователя, несмотря на непредсказуемые изменения макета или всплывающие окна. Решение минимизирует отклонения от заданного сценария, улучшая точность выполнения сложных многошаговых задач в реальных программных средах. Hacker News · Инфраструктура для агентов Anti-Slop UI: детерминированный подход к борьбе с галлюцинациями ИИ Anti-Slop UI представляет собой инструмент для управления состоянием интерфейса, который ограничивает непредсказуемое поведение генеративных моделей. Используя подход конечного автомата, библиотека позволяет разработчикам жестко задавать допустимые переходы и состояния, исключая возможность генерации невалидных данных или неконтролируемых ответов, что критически важно для создания надежных агентных систем и пользовательских интерфейсов на базе LLM. arXiv · Инфраструктура для агентов Метод мониторинга и исправления ошибок ИИ-агентов в реальном времени Исследователи представили новый подход к обнаружению и исправлению сбоев в работе ИИ-агентов, основанный на анализе телеметрии шагов. В отличие от затратных методов с использованием второй LLM-модели для проверки каждого действия, предложенная система работает с минимальными задержками, используя мониторы, обученные исключительно на успешных сценариях выполнения задач, что значительно снижает вычислительные расходы.

← Все материалы