arXiv · 11.06.2026 ·AI-агенты и память

EvoArena: тестирование памяти ИИ-агентов в динамичных средах

Исследователи из MIT и других ведущих университетов представили EvoArena — новый бенчмарк для оценки способности ИИ-агентов адаптироваться в динамичных средах. Проблема в том, что большинство тестов для LLM-агентов предполагают статичные условия, тогда как реальный мир требует постоянного обновления знаний и навыков.

EvoArena включает 120 задач, которые имитируют реальные сценарии, где условия меняются со временем. Например, агент должен учитывать обновления в API, изменения в правилах или новые данные. Это позволяет оценить, насколько хорошо агент может обновлять свою память и адаптироваться к новым условиям.

Авторы подчёркивают, что для успешного развёртывания агентов в реальном мире необходимо не только изначальное обучение, но и механизмы непрерывного обновления. EvoArena может стать важным инструментом для разработчиков, работающих над памятью и адаптивностью ИИ-агентов.

Для Jarv это особенно важно, так как мы строим агент, который должен работать в реальном мире, где условия постоянно меняются. EvoArena может помочь нам протестировать и улучшить механизмы памяти и адаптации нашего агента.

Источник: arXiv

Похожие материалы

Hugging Face - Blog · Оценка и улучшение ИИ-агентов VAKRA: новый бенчмарк для тестирования ИИ-агентов Исследователи из IBM Research представили VAKRA — новый бенчмарк для оценки способностей ИИ-агентов к логическому мышлению, использованию инструментов и обработке ошибок. В отличие от существующих тестов, VAKRA фокусируется на комплексных сценариях, требующих от агентов не только генерации текста, но и выполнения последовательных действий с анализом промежуточных результатов. Hacker News · ИИ-агенты и память CLI-агент с памятью и адаптивным поведением Команда Vektor Memory представила новую версию своего CLI-агента, который становится умнее с каждым использованием. Это достигнуто благодаря интеграции механизмов памяти и адаптивного обучения, что позволяет агенту запоминать контекст и улучшать свои ответы со временем. Hacker News · AI-агенты и память Исследование: случайный прорыв в памяти ИИ-агентов Исследователи из Coder Company случайно достигли нового уровня в области памяти ИИ-агентов, используя подход, основанный на AI-компаньонах. В ходе эксперимента они обнаружили, что агенты, взаимодействующие друг с другом, способны сохранять и использовать информацию более эффективно, чем традиционные методы. arXiv · ИИ-агенты и память DYNA: динамическая память для ИИ-агентов на основе временных графов Исследователи из MIT и других университетов предложили фреймворк DYNA, который решает проблему забывания знаний у больших языковых моделей (LLM). DYNA использует временной знаний граф, где события — это узлы, а временные отношения — направленные, временно помеченные рёбра. Этот граф служит внешней, обновляемой памятью, что позволяет LLM работать с новыми данными без переобучения. arXiv · Оценка ИИ-агентов AgentBeats: новый подход к оценке ИИ-агентов Исследователи из Arxiv предложили новый подход к оценке ИИ-агентов, который решает проблему фрагментированности тестирования. В статье "AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility" авторы отмечают, что существующие бенчмарки часто зависят от фиксированных, ориентированных на LLM, тестовых фреймворков. Это создает несоответствие между тестовыми и производственными условиями, а также ограничивает справедливое сравнение различных архитектур агентов. arXiv · ИИ-агенты в научных исследованиях EurekAgent: как ИИ-агенты автоматизируют научные открытия Исследователи из MIT и других ведущих университетов представили EurekAgent — фреймворк, который демонстрирует, как LLM-основанные агенты могут автоматизировать научные открытия. В статье, опубликованной на arXiv, авторы показывают, что при наличии оптимизируемого метрика и подходящей среды выполнения, агенты способны предлагать, проверять и итерировать научные решения, превосходя человеческие подходы. Microsoft Research · Этика и эффективность ИИ-агентов SocialReasoning-Bench: как ИИ-агенты действуют в интересах пользователей Исследователи из Microsoft представили SocialReasoning-Bench — новый бенчмарк, который оценивает способность ИИ-агентов действовать в интересах пользователей. В ходе тестирования различных моделей выяснилось, что хотя агенты демонстрируют компетентность в выполнении задач, они не всегда способны улучшать положение пользователя, даже при явных инструкциях оптимизировать свои действия. Hacker News · ИИ-агенты и память Проблема памяти в ИИ: почему системы всё ещё работают как поиск Автор статьи Jeffrey Flynt поднимает важный вопрос о текущем состоянии памяти в ИИ-агентах. Он утверждает, что большинство современных систем, включая RAG (Retrieval-Augmented Generation), работают по принципу поиска, а не по принципу истинной памяти. Это означает, что они не могут эффективно хранить и использовать контекстную информацию в долгосрочной перспективе, а лишь извлекают данные из базы при каждом запросе. arXiv · Обучение и ИИ-агенты Исследование: почему ИИ-репетиторы не работают так, как ожидается Исследователи из MIT и Стэнфорда опубликовали работу, в которой ставят под сомнение эффективность современных ИИ-репетиторов. Проблема в том, что текущие методы оценки и обучения таких систем основаны на предположении, что студенты будут активно взаимодействовать с ИИ-репетитором, следуя его подсказкам и шагам. Однако в реальном мире это происходит далеко не всегда. Hacker News · Тестирование ИИ-агентов Как оценивать ИИ-агентов: полный цикл тестирования Разработка ИИ-агентов требует не только создания функциональных модулей, но и их тщательного тестирования. В статье Peter Baumgartner подробно рассматривается подход к end-to-end оценке агентов, который включает в себя тестирование на всех этапах их работы — от ввода данных до выполнения задач и генерации результатов. Автор подчеркивает важность комплексного подхода, который позволяет выявить слабые места и улучшить общую производительность агентов.

← Все материалы