arXiv · 06.07.2026 ·Оценка и бенчмарки

SovereignPA-Bench: новый стандарт оценки автономности персональных ИИ-агентов

Исследователи представили SovereignPA-Bench — первый бенчмарк для оценки способности ИИ-агентов действовать исключительно в интересах пользователя. В отличие от стандартных тестов на владение инструментами, этот фреймворк проверяет, насколько агент сохраняет суверенитет владельца при работе с внешними платформами, соблюдении ограничений согласия и адаптации к меняющимся намерениям в долгосрочной перспективе.

Современные персональные агенты всё чаще выступают в роли посредников, которые фильтруют информацию, управляют предпочтениями и ведут переговоры с сервисами. Однако существующие системы оценки не учитывают риски, связанные с «платформенным посредничеством», когда интересы провайдера сервиса могут вступать в конфликт с целями пользователя. Новый бенчмарк моделирует сложные сценарии, требующие от агента защиты приватности и приоритетов владельца в условиях динамической среды.

Методология SovereignPA-Bench фокусируется на трех ключевых аспектах: способности агента сохранять контекст предпочтений пользователя, умении эффективно фильтровать контент в условиях давления со стороны сторонних платформ и строгом соблюдении заданных пользователем ограничений на доступ к данным. Это позволяет количественно измерить, насколько агент остается инструментом пользователя, а не становится инструментом влияния для внешних систем.

Ключевые факты

Бенчмарк оценивает агентов в условиях «эволюционирующих намерений», требующих адаптации без потери долгосрочных целей пользователя.
Основной акцент сделан на проверке «платформенного посредничества», где агент должен противостоять манипуляциям со стороны внешних сервисов.
Тестирование включает проверку соблюдения ограничений согласия (consent constraints) при взаимодействии с API и веб-интерфейсами.
Фреймворк заполняет пробел в оценке агентных систем, которые работают как постоянные посредники, а не просто выполняют разовые задачи.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Оценка и бенчмарки Human-bench: новый стандарт оценки «человекоподобных» ИИ-агентов Проект Human-bench представил специализированный бенчмарк для оценки ИИ-агентов, имитирующих поведение человека в цифровой среде. В отличие от классических тестов на логику или программирование, этот инструмент фокусируется на способности моделей выполнять задачи в интерфейсах, требующих многошагового взаимодействия, навигации по сайтам и принятия решений в условиях, максимально приближенных к реальной работе пользователя. arXiv · Оценка и бенчмарки EnterpriseClawBench: новый стандарт оценки корпоративных ИИ-агентов Исследователи представили EnterpriseClawBench — специализированный бенчмарк для оценки эффективности ИИ-агентов в реальных рабочих условиях. В отличие от синтетических тестов, этот набор данных сформирован на основе анализа реальных сессий взаимодействия сотрудников с корпоративными системами. В базу вошли 852 воспроизводимые задачи, которые охватывают типичные офисные сценарии: работу с разнородными файлами, вызов внешних инструментов и создание бизнес-артефактов. Hacker News · Оценка и бенчмарки FlowerBench: новый стандарт оценки ИИ-агентов в корпоративных задачах Представлен FlowerBench — специализированный бенчмарк для оценки производительности ИИ-агентов в реальных корпоративных сценариях. В отличие от академических тестов, он фокусируется на выполнении сложных многошаговых процессов, требующих взаимодействия с внешними системами, управления состоянием и обработки ошибок. Инструмент позволяет измерять эффективность агентных систем в условиях, максимально приближенных к реальной бизнес-среде, где важна надежность и точность выполнения инструкций. Microsoft Research · Память и RAG SocialReasoning-Bench: как ИИ-агенты действуют в интересах пользователей Исследователи из Microsoft представили SocialReasoning-Bench — новый бенчмарк, который оценивает способность ИИ-агентов действовать в интересах пользователей. В ходе тестирования различных моделей выяснилось, что хотя агенты демонстрируют компетентность в выполнении задач, они не всегда способны улучшать положение пользователя, даже при явных инструкциях оптимизировать свои действия. Hacker News · Оценка и бенчмарки Senior SWE-bench: новый стандарт оценки ИИ-агентов на уровне Senior-разработчиков Представлен Senior SWE-bench — открытый бенчмарк для оценки способностей ИИ-агентов решать сложные инженерные задачи, требующие уровня квалификации Senior-разработчика. В отличие от базовых тестов, этот инструмент фокусируется на многоэтапном проектировании, глубоком анализе кодовой базы и исправлении архитектурных ошибок, имитируя реальный рабочий процесс в крупных репозиториях с открытым исходным кодом. arXiv · Оценка и бенчмарки MacAgentBench: новый стандарт оценки ИИ-агентов для macOS Исследователи представили MacAgentBench — специализированный бенчмарк для оценки возможностей ИИ-агентов при работе в среде macOS. В отличие от предыдущих тестов, которые фокусировались на простых бинарных задачах, новый фреймворк учитывает реальные сценарии автоматизации рабочего стола. Это позволяет точнее измерять эффективность агентов, использующих современные инструменты для управления интерфейсом и системными процессами. Hacker News · Оценка и бенчмарки SharpeBench: новый стандарт оценки торговых ИИ-агентов Исследователи представили SharpeBench — специализированный бенчмарк для оценки эффективности ИИ-агентов, работающих на финансовых рынках. Основная проблема существующих методов тестирования заключается в их уязвимости к случайным рыночным колебаниям: модель может показать высокую доходность просто из-за удачного стечения обстоятельств, а не благодаря качеству алгоритма принятия решений. Новый инструмент призван отделить реальные аналитические способности агента от рыночной случайности. arXiv · Оценка и бенчмарки MemSyco-Bench: новый бенчмарк для оценки склонности ИИ-агентов к поддакиванию Исследователи представили MemSyco-Bench — специализированный бенчмарк для оценки склонности ИИ-агентов к «поддакиванию» (sycophancy) при использовании систем долгосрочной памяти. Инструмент выявляет случаи, когда агент в угоду пользователю жертвует точностью фактов или объективностью рассуждений, опираясь на искаженные данные из истории взаимодействия. Это критический шаг для повышения надежности автономных систем, работающих с накопленным контекстом. arXiv · Оценка и бенчмарки AgentBeats: новый подход к оценке ИИ-агентов Исследователи из Arxiv предложили новый подход к оценке ИИ-агентов, который решает проблему фрагментированности тестирования. В статье "AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility" авторы отмечают, что существующие бенчмарки часто зависят от фиксированных, ориентированных на LLM, тестовых фреймворков. Это создает несоответствие между тестовыми и производственными условиями, а также ограничивает справедливое сравнение различных архитектур агентов. arXiv · Оценка и бенчмарки Представлен бенчмарк TxBench-PP для оценки ИИ-агентов в фармакологии Исследователи представили TxBench-PP — специализированный набор тестов для оценки эффективности ИИ-агентов в области доклинической фармакологии малых молекул. Инструмент направлен на проверку способности моделей принимать обоснованные решения в процессах разработки лекарственных препаратов, где критически важна точность интерпретации данных и логика выбора стратегий.

← Все материалы