arXiv · 18.06.2026 ·Инфраструктура для агентов

Автоматизация создания библиотек навыков для ИИ-агентов через анализ GUI-траекторий

Исследователи представили метод автоматизированного формирования библиотек навыков (SKILL.md) для ИИ-агентов, работающих с графическими интерфейсами. Вместо ручного описания действий система использует трехэтапный конвейер, который анализирует логи взаимодействия пользователя с компьютером. На первом этапе происходит сегментация траекторий GUI, затем алгоритм кластеризует полученные фрагменты в повторяющиеся паттерны навыков, и на финальной стадии эти данные используются для дообучения агентных моделей.

Использование явных библиотек навыков позволяет сделать работу агентов более прозрачной и предсказуемой. Авторы метода доказали, что извлечение структурированных навыков из сырых данных взаимодействия значительно повышает эффективность последующих политик управления. Модели, обученные с учетом таких библиотек, демонстрируют более высокую точность при выполнении сложных многошаговых задач в интерфейсах программного обеспечения.

Данный подход решает проблему интерпретируемости агентных систем, позволяя разработчикам отслеживать, какие именно навыки задействует модель в процессе выполнения задания. Автоматизация этого процесса снижает трудозатраты на подготовку обучающих выборок и позволяет масштабировать создание специализированных агентов для автоматизации офисных и прикладных задач без необходимости написания кода для каждого отдельного действия.

Источник: arXiv

Похожие материалы

arXiv · Обучение и дообучение SoftSkill: новый метод сжатия поведенческих навыков для ИИ-агентов Исследователи представили метод SoftSkill, который меняет подход к передаче инструкций и навыков для ИИ-агентов. Традиционно агенты используют текстовые файлы в формате Markdown, где прописаны правила поведения и алгоритмы выполнения задач. Однако такой подход требует от языковой модели каждый раз интерпретировать длинный текст, что снижает эффективность и точность исполнения инструкций в процессе генерации. arXiv · Память и RAG Метод накопления преимуществ для самообучения ИИ-агентов Исследователи представили новый подход к обучению ИИ-агентов, основанный на механизме накопления маржинальных преимуществ (Marginal Advantage Accumulation). Метод решает проблему противоречивой обратной связи, возникающей при пакетной дистилляции траекторий, когда одни и те же операции с памятью получают разные оценки эффективности в разных итерациях обучения. arXiv · Машинное обучение Модельно-ориентированный подход к созданию сред для обучения с подкреплением Исследователи представили новый подход к разработке виртуальных сред, предназначенных для обучения агентов с подкреплением (RL). Традиционно создание таких систем требует значительных затрат времени, так как для успешной сходимости алгоритмов агентам необходимо тренироваться в множестве схожих, но вариативных условий. Авторы работы предлагают использовать модельно-ориентированную методологию, которая позволяет автоматизировать генерацию семейств сред, сохраняя при этом их функциональную близость. Hacker News · Инфраструктура для агентов Deep Work Plan: автоматизация спецификаций для ИИ-агентов Инструмент Deep Work Plan предлагает новый подход к подготовке кодовых баз для работы с ИИ-агентами. Система анализирует существующий репозиторий и автоматически преобразует его структуру в набор спецификаций, которые служат «картой» для агентных систем. Это позволяет агентам лучше ориентироваться в контексте проекта, понимать зависимости и следовать заданным архитектурным правилам при генерации кода. Hacker News · Инфраструктура для агентов Практический опыт разработки ИИ-агентов для автоматизации браузерных задач Разработка автономных агентов требует перехода от простых цепочек промптов к сложным системам управления состоянием и обработки ошибок. Основная сложность заключается в обеспечении надежности действий модели в реальной среде, где интерфейсы веб-сайтов постоянно меняются, а сетевые задержки могут привести к сбоям в выполнении последовательных команд. Hugging Face - Blog · Оценка и бенчмарки Новый подход к оценке агентных способностей открытых моделей Hugging Face представила методологию для оценки того, насколько эффективно языковые модели справляются с использованием внешних инструментов. В отличие от стандартных тестов на логику или знание фактов, новый подход фокусируется на способности модели вызывать функции, интерпретировать ответы API и корректировать свои действия в рамках многошаговых задач. Это позволяет разработчикам точнее определять, какая модель лучше подходит для создания автономных агентов. Hacker News · Оркестрация агентов Методология ревью кода, написанного ИИ-агентами Разработка сложных агентных систем требует перехода от модели «запустил и забыл» к строгому контролю качества кода, генерируемого моделями. Основная проблема заключается в том, что агенты часто создают рабочие, но архитектурно слабые решения, которые сложно поддерживать в долгосрочной перспективе. Для решения этой задачи внедряется многоуровневый процесс проверки, где человек выступает в роли архитектора, анализирующего логику выполнения задач и структуру создаваемых модулей. Hacker News · ИИ в бизнесе Применение ИИ-агентов в управлении продуктами Использование автономных агентов в процессах продакт-менеджмента позволяет автоматизировать рутинные задачи, связанные с анализом пользовательского опыта и приоритизацией бэклога. Современные подходы предполагают интеграцию ИИ-систем в рабочие цепочки, где агенты выступают в роли аналитических помощников, способных обрабатывать большие массивы неструктурированных данных из тикетов поддержки, отзывов и логов использования продукта. The Decoder · ИИ в бизнесе Nvidia и университеты США обучили роботов навыкам захвата через ИИ-агентов Исследователи из Nvidia, Университета Карнеги — Меллона и Калифорнийского университета в Беркли представили метод обучения робототехники с помощью автономных ИИ-агентов. Система использует возможности генеративного кода для самостоятельной корректировки движений роботов в реальных условиях. Вместо классического программирования каждого действия, агенты анализируют неудачные попытки и автоматически переписывают алгоритмы управления, чтобы повысить точность выполнения сложных манипуляций. arXiv · Память и RAG Как улучшить надёжность ИИ-агентов в робототехнике Исследователи из MIT и других ведущих университетов предложили новый подход к улучшению надёжности ИИ-агентов в робототехнике. В своей работе, опубликованной на arXiv, они рассматривают проблему обнаружения аномалий в поведении роботов, управляемых генеративными моделями.

← Все материалы