arXiv · 18.06.2026 ·Память и RAG

Метод накопления преимуществ для самообучения ИИ-агентов

Исследователи представили новый подход к обучению ИИ-агентов, основанный на механизме накопления маржинальных преимуществ (Marginal Advantage Accumulation). Метод решает проблему противоречивой обратной связи, возникающей при пакетной дистилляции траекторий, когда одни и те же операции с памятью получают разные оценки эффективности в разных итерациях обучения.

Существующие системы часто не способны отличить действительно полезные действия агента от случайных удачных совпадений. Авторы работы формализовали два ключевых условия для оценки операций: выравниваемость (alignability) и сопоставимость (comparability). Это позволяет агенту систематизировать опыт, накопленный в процессе взаимодействия с памятью, и отсеивать неэффективные паттерны поведения.

Внедрение этого механизма позволяет агентам более стабильно эволюционировать, опираясь на долгосрочную память. Вместо того чтобы полагаться на разовые успехи, система накапливает доказательную базу для каждой операции, что делает процесс самообучения более предсказуемым и устойчивым к шуму в обучающих данных.

Источник: arXiv

Похожие материалы

arXiv · Оркестрация агентов Новый подход к маршрутизации множества ИИ-агентов Исследователи из Университета Карнеги-Меллон представили новую работу, посвящённую компиляционным методам в задачах маршрутизации множества агентов (MAPF). В отличие от классических подходов, где все агенты должны достичь заданных целей без столкновений, авторы рассматривают варианты с разными требованиями к агентам. Hacker News · Инфраструктура для агентов Как создать собственный learning loop для ИИ-агентов Разработчики ИИ-агентов всё чаще обращаются к концепции learning loop — циклического процесса, где система обучается на основе собственных действий и данных. В новом техническом руководстве подробно разбирается, как построить такую систему с нуля. Hacker News · Память и RAG Исследование: случайный прорыв в памяти ИИ-агентов Исследователи из Coder Company случайно достигли нового уровня в области памяти ИИ-агентов, используя подход, основанный на AI-компаньонах. В ходе эксперимента они обнаружили, что агенты, взаимодействующие друг с другом, способны сохранять и использовать информацию более эффективно, чем традиционные методы. arXiv · Инфраструктура для агентов Автоматизация создания библиотек навыков для ИИ-агентов через анализ GUI-траекторий Исследователи представили метод автоматизированного формирования библиотек навыков (SKILL.md) для ИИ-агентов, работающих с графическими интерфейсами. Вместо ручного описания действий система использует трехэтапный конвейер, который анализирует логи взаимодействия пользователя с компьютером. На первом этапе происходит сегментация траекторий GUI, затем алгоритм кластеризует полученные фрагменты в повторяющиеся паттерны навыков, и на финальной стадии эти данные используются для дообучения агентных моделей. arXiv · Инфраструктура для агентов Новый метод для координации агентов с разными целями Исследователи из MIT и Университета Карнеги-Меллона представили новый подход к обучению ИИ-агентов в условиях многозадачности и конфликтов целей. В статье на arXiv они описывают Preference Coordinated Multi-agent Policy Optimization (PCMA) — метод, который позволяет агентам координировать свои действия даже при наличии противоречивых целей и различий в наблюдениях и ролях. arXiv · Память и RAG Исследование геометрии памяти в непрерывном обучении Учёные изучили структуру памяти в непрерывном обучении, чтобы понять, как ИИ-агенты могут сохранять знания без катастрофического забывания. Исследование основано на фреймворке Accessibility Collapse и анализирует, как модели, такие как ResNet-18, теряют и восстанавливают информацию при обучении на последовательных задачах. Hacker News · Память и RAG CLI-агент с памятью и адаптивным поведением Команда Vektor Memory представила новую версию своего CLI-агента, который становится умнее с каждым использованием. Это достигнуто благодаря интеграции механизмов памяти и адаптивного обучения, что позволяет агенту запоминать контекст и улучшать свои ответы со временем. Hacker News · Память и RAG Как системы памяти ИИ ломаются при масштабировании Исследователи Tenure AI изучили, как системы памяти для ИИ-агентов теряют эффективность при увеличении объёма данных. В статье подробно разбираются типичные проблемы: фрагментация памяти, рост задержек и снижение точности извлечения информации. arXiv · Память и RAG Новый подход к редактированию знаний в ИИ-агентах Исследователи из MIT и Университета Карнеги-Меллона представили новый метод редактирования знаний в ИИ-моделях, который позволяет обновлять конкретные факты, не затрагивая близлежащие, но нерелевантные данные. В статье, опубликованной на arXiv, авторы предлагают использовать память, которая извлекается во время инференса, и адаптеры для коррекции предпочтений модели. arXiv · Другое Как идентифицировать поведение ИИ-агентов через их «отпечатки» Исследователи из Arxiv представили новый подход к анализу поведения ИИ-агентов, который позволяет выявлять их уникальные «отпечатки» — паттерны, по которым можно идентифицировать, как агент решает задачи. В отличие от традиционных бенчмарков, которые показывают только конечный результат, этот метод фокусируется на процессе принятия решений.

← Все материалы