MarkTechPost · 01.08.2026 ·Оценка и бенчмарки

Supabase представила open-source бенчмарк для оценки ИИ-агентов в задачах разработки

Компания Supabase выпустила инструмент Evals — открытый фреймворк для тестирования возможностей ИИ-агентов при работе с реальными задачами бэкенд-разработки. Система позволяет оценивать качество кода, создаваемого моделями вроде Claude Code, Codex и OpenCode, в изолированных контейнеризированных средах. Бенчмарк проверяет корректность выполнения специфических операций, таких как проектирование схем баз данных, отладка функций и настройка политик безопасности.

Процесс тестирования включает выполнение агентом цепочки действий, после чего система проводит проверку результата двумя способами. Первый — детерминированные тесты, подтверждающие работоспособность кода, второй — использование подхода «LLM-as-a-judge» для качественной оценки архитектурных решений. Такой подход позволяет разработчикам понять, насколько эффективно агент справляется с прикладными задачами в рамках конкретной инфраструктуры.

Использование контейнеров обеспечивает воспроизводимость результатов, исключая влияние внешних факторов на процесс оценки. Инструмент ориентирован на проверку навыков агентов в работе с RLS-политиками (Row Level Security), миграциями данных и Edge Functions, что делает его специализированным решением для оценки ИИ в контексте Fullstack-разработки.

Ключевые факты

Фреймворк распространяется под лицензией Apache-2.0.
Поддерживается тестирование популярных моделей и агентов, включая Claude Code, Codex и OpenCode.
Оценка проводится в изолированных контейнеризированных стеках для обеспечения чистоты эксперимента.
Методология включает как детерминированные проверки, так и оценку с помощью LLM-судьи.
Основные сценарии тестирования охватывают создание схем БД, отладку Edge Functions и настройку RLS-политик.

Источник: MarkTechPost

Обсудить с ИИ

Похожие материалы

Hacker News · Оценка и бенчмарки Supabase представила платформу для оценки ИИ-агентов Supabase запустила инструмент для оценки качества работы ИИ-агентов, интегрированный непосредственно в инфраструктуру базы данных. Решение позволяет разработчикам проводить A/B-тестирование промптов, отслеживать метрики точности и анализировать логи взаимодействий в режиме реального времени. Это упрощает процесс итерации над агентными системами, обеспечивая прозрачный контроль над качеством ответов и эффективностью использования токенов в рамках единой экосистемы. Hacker News · Оценка и бенчмарки Senior SWE-bench: новый стандарт оценки ИИ-агентов на уровне Senior-разработчиков Представлен Senior SWE-bench — открытый бенчмарк для оценки способностей ИИ-агентов решать сложные инженерные задачи, требующие уровня квалификации Senior-разработчика. В отличие от базовых тестов, этот инструмент фокусируется на многоэтапном проектировании, глубоком анализе кодовой базы и исправлении архитектурных ошибок, имитируя реальный рабочий процесс в крупных репозиториях с открытым исходным кодом. Hacker News · Оценка и бенчмарки OpenBench: новый стандарт для оценки ИИ-агентов в программировании OpenBench представляет собой специализированный бенчмарк, предназначенный для объективного сравнения производительности различных агентных систем в задачах написания кода. Инструмент позволяет оценивать эффективность агентских фреймворков в реальных сценариях разработки, предоставляя разработчикам стандартизированную метрику для анализа того, насколько качественно агенты справляются с комплексными задачами программирования и отладки. arXiv · Оценка и бенчмарки E-Bench: новый стандарт для оценки многошаговых ИИ-агентов Исследователи представили E-Bench — специализированный бенчмарк для оценки способности LLM-агентов выполнять сложные многошаговые задачи в реальных продуктовых сценариях. В отличие от существующих тестов, сфокусированных на одиночных вызовах API, E-Bench проверяет навыки агентов по сбору скрытой информации, планированию последовательности действий и корректному изменению состояния системы в динамических средах. Hacker News · Оценка и бенчмарки AWS представила AWS-bench для тестирования ИИ-агентов Компания AWS выпустила AWS-bench — открытый набор инструментов для оценки производительности ИИ-агентов в облачной инфраструктуре. Решение позволяет разработчикам стандартизировать тестирование агентных систем, измеряя их способность выполнять сложные многошаговые задачи, взаимодействовать с внешними API и эффективно использовать облачные ресурсы. Инструментарий ориентирован на повышение надежности и предсказуемости автономных систем в корпоративных средах. MarkTechPost · Оценка и бенчмарки EdgeBench: новый стандарт для оценки производительности ИИ-агентов EdgeBench представляет собой комплексный бенчмарк для тестирования продвинутых ИИ-агентов в реальных условиях эксплуатации. Инструмент позволяет оценивать эффективность моделей в различных категориях задач, учитывая ограничения по времени выполнения и специфику среды исполнения. Методология включает детальный анализ таксономии задач, логику судейства и метрики масштабируемости, что критически важно для объективного сравнения агентных систем. Hacker News · Оценка и бенчмарки Agents' Last Exam: новый бенчмарк для оценки ИИ-агентов в реальных задачах Исследователи представили Agents' Last Exam — комплексный бенчмарк для оценки способностей ИИ-агентов к выполнению профессиональных рабочих процессов. В отличие от стандартных тестов, ориентированных на решение изолированных задач, этот инструмент проверяет умение моделей взаимодействовать с реальным программным обеспечением, работать с файловыми системами и выполнять многошаговые инструкции в условиях, приближенных к офисной деятельности. Hacker News · Оценка и бенчмарки Кураторская подборка инструментов и методологий для оценки ИИ-агентов Проект Awesome Evals представляет собой структурированную библиотеку ресурсов, предназначенных для тестирования и оценки производительности ИИ-агентов. Репозиторий консолидирует актуальные фреймворки, исследовательские статьи и практические подходы, помогая разработчикам систематизировать процесс валидации агентных систем. Основной акцент сделан на объективных метриках и методах проверки надежности агентов в реальных сценариях использования. Hacker News · Оценка и бенчмарки Бенчмарк для оценки эффективности ИИ-агентов при навигации по кодовой базе Проект «Is grep enough?» представляет собой открытый бенчмарк для оценки способности ИИ-агентов ориентироваться в сложных репозиториях. Исследование сравнивает эффективность простых инструментов поиска, таких как grep, с продвинутыми агентными методами навигации. Цель проекта — определить, насколько современные LLM способны самостоятельно находить нужные фрагменты кода для решения задач, не полагаясь на избыточные контекстные данные. arXiv · Оценка и бенчмарки UniClawBench: новый стандарт оценки проактивных ИИ-агентов в реальных задачах Исследователи представили UniClawBench — комплексный бенчмарк для оценки проактивных ИИ-агентов, работающих с реальными инструментами. В отличие от существующих тестов, ограниченных изолированными средами, UniClawBench фокусируется на многошаговых сценариях, требующих от модели самостоятельной инициативы, планирования и взаимодействия с внешними сервисами в динамических условиях, что лучше отражает реальную эффективность агентов в повседневных задачах.

← Все материалы