Оценка и бенчмарки
LMSYS Chatbot Arena: новый стандарт оценки качества LLM
Платформа LMSYS Chatbot Arena стала индустриальным стандартом для оценки качества больших языковых моделей. Используя слепое тестирование и систему рейтингов Эло, сервис позволяет пользователям сравнивать ответы различных нейросетей в реальном времени. На текущий момент в базе площадки содержатся данные о сотнях моделей, что делает её ключевым инструментом для объективного измерения прогресса в области генеративного ИИ.
Agon: новая платформа для сравнения ИИ-моделей в написании кода
Agon представляет собой специализированную среду для объективного тестирования и сравнения LLM в задачах программирования. Платформа работает по принципу «колизея», где модели соревнуются в решении реальных задач разработки, позволяя разработчикам и исследователям оценивать качество генерации кода, способность моделей следовать инструкциям и эффективность исправления ошибок в изолированной среде.
Проблема насыщения бенчмарков: почему современные тесты перестали отражать прогресс ИИ
Исследователи проанализировали феномен «насыщения» популярных бенчмарков, при котором модели достигают результатов, близких к человеческим или теоретическим максимумам. Систематическое изучение показало, что текущие метрики теряют способность дифференцировать возможности новых архитектур. Это создает иллюзию замедления прогресса в области ИИ, хотя реальные способности систем продолжают эволюционировать в направлениях, не охваченных стандартными тестами.
Система Varto полностью решила математический бенчмарк PutnamBench в Isabelle
Система Varto успешно справилась со всеми задачами из математического бенчмарка PutnamBench, используя интерактивный прувер Isabelle. Это достижение демонстрирует способность ИИ-агентов к формальной верификации сложных математических доказательств. Результат подтверждает переход от генерации вероятностных ответов к строгому логическому выводу, что критически важно для надежности математических вычислений и разработки программного обеспечения с гарантированной корректностью.
Сравнение производительности моделей Fable, Sol и Kimi K3 в задачах кодинга
Опубликованы результаты тестирования специализированных языковых моделей Fable, Sol и Kimi K3 на бенчмарке SlopCodeBench. Исследование оценивает способность моделей справляться с задачами программирования и написания кода, выявляя различия в качестве генерации и логических способностях. Тест фокусируется на сложных сценариях, с которыми сталкиваются современные ИИ-агенты при работе с кодовыми базами.
SocietyBench: новый бенчмарк для оценки социального прогнозирования LLM
Исследователи представили SocietyBench — новый бенчмарк для оценки способности больших языковых моделей прогнозировать развитие сложных социальных событий. В отличие от существующих тестов, сфокусированных на выполнении технических задач, этот инструмент измеряет понимание причинно-следственных связей в социуме, позволяя анализировать, как модели предсказывают последствия гипотетических изменений в реальных мировых сценариях и социальных процессах.
WorldCup Arena: тестирование LLM в условиях реального времени
Исследователи представили WorldCup Arena — новый подход к оценке LLM, исключающий проблему утечки данных из обучающих выборок. В ходе чемпионата мира по футболу 2026 года шесть передовых моделей с доступом к поиску в реальном времени прогнозировали исходы матчей. Это позволило оценить их способность к логическому выводу на основе динамически меняющейся информации, недоступной при статичном обучении.
PAST-Bench: новый стандарт для оценки способности ИИ-агентов к самообучению
Исследователи представили PAST-Bench — первый систематический бенчмарк для оценки способности персональных ИИ-агентов к рекурсивному самосовершенствованию. Инструмент проверяет, насколько эффективно модели используют накопленный опыт, историю задач и предпочтения пользователя для улучшения своей производительности в долгосрочной перспективе, заполняя пробел в методологии тестирования агентных систем, которые должны эволюционировать вместе с пользователем.
Computer Anthology: новый бенчмарк для оценки ИИ-агентов в компьютерной среде
Исследователи представили Computer Anthology — постоянно обновляемое семейство бенчмарков, предназначенное для оценки способностей ИИ-агентов выполнять задачи в терминальной среде. Проект фокусируется на реалистичных сценариях взаимодействия с компьютером, требующих от моделей не просто генерации текста, а последовательного выполнения команд, навигации по файловым системам и решения прикладных задач в реальном времени.
HalluTruthQA-4K: новый бенчмарк для поиска галлюцинаций в арабском языке
Исследователи представили HalluTruthQA-4K — специализированный корпус данных для оценки точности ответов больших языковых моделей на арабском языке. В отличие от существующих решений, которые дают лишь общую оценку корректности текста, этот набор данных позволяет проводить детальный анализ ошибок, выявляя конкретные фактологические искажения и причины их возникновения в сгенерированных ответах.
Новый подход к оценке генеративных моделей музыки
Исследователи предложили отойти от использования статических лидербордов при оценке генеративных музыкальных ИИ-моделей. Вместо фиксированных наборов данных авторы предлагают динамическую парадигму оценки, которая учитывает контекстуальные особенности музыки, субъективное восприятие качества и функциональную пригодность аудиоконтента. Это позволяет более точно определять реальную эффективность моделей в творческих задачах, выходя за рамки простых метрик сходства.
Масштабное исследование качества ИИ-генерации 3D-моделей
Исследователи проанализировали 2307 3D-моделей, созданных с помощью современных генеративных ИИ-систем, чтобы оценить их пригодность для практического использования. Результаты бенчмарка 3DQA выявили критические проблемы с геометрией, топологией и текстурированием, которые часто делают сгенерированные объекты непригодными для профессиональных задач в геймдеве, архитектуре и промышленном дизайне без существенной ручной доработки.
BanglaWild: новый бенчмарк для распознавания бенгальского текста в реальных условиях
Исследователи представили BanglaWild — специализированный набор данных из 2535 изображений для оценки моделей распознавания текста на бенгальском языке в естественных условиях. Бенчмарк заполняет пробел в области OCR и Vision-Language моделей, предлагая единую платформу для тестирования систем, которые ранее были ограничены лишь рукописными документами или простыми вывесками, не учитывающими сложность реальной визуальной среды.
GDPevo: новый бенчмарк для оценки самообучения ИИ-агентов в бизнес-задачах
Исследователи представили GDPevo — специализированный бенчмарк для оценки способности ИИ-агентов к самоэволюции на основе накопленного опыта. В отличие от существующих тестов, GDPevo фокусируется на реальных бизнес-процессах, позволяя отделить прирост производительности за счет обучения от случайных факторов. Это решение помогает измерить, насколько эффективно агенты адаптируются к новым задачам, используя данные из прошлых итераций.
Исследование: как мультиагентные системы в медицине обходят бенчмарки через «шорткаты»
Исследователи проанализировали работу мультиагентных систем в клинических задачах и выявили критическую уязвимость: модели склонны использовать «шорткаты» — поверхностные закономерности, которые повышают баллы в бенчмарках, но не имеют клинической ценности. Изучение семи когорт на шести публичных датасетах показало, что коллективное обсуждение агентов не гарантирует точность, а лишь усиливает следование ложным сигналам, заложенным в данных.
CARE-Bench: новый стандарт оценки медицинских ИИ-агентов для первичного триажа
Исследователи представили CARE-Bench — специализированный бенчмарк для оценки LLM и ИИ-агентов, взаимодействующих с пациентами. Инструмент фокусируется на безопасности первичного медицинского триажа, проверяя способность моделей корректно определять дальнейшие действия пользователя на основе симптомов. Набор данных включает 500 клинических случаев и более тысячи сценариев, что позволяет стандартизировать проверку точности рекомендаций до обращения к врачу.
Исследование: как визуальные паттерны искажают генерацию кода в MLLM
Исследователи выявили критическую уязвимость мультимодальных моделей (MLLM) при генерации фронтенд-кода по скриншотам. Оказалось, что модели склонны отдавать предпочтение повторяющимся визуальным паттернам в ущерб точности кода. Для оценки этой проблемы авторы представили первый специализированный бенчмарк, измеряющий предвзятость моделей при выполнении задач по заполнению пропусков в коде на основе визуальных данных.
LiveEvalBench: новый подход к оценке генерации веб-интерфейсов
Исследователи представили LiveEvalBench — новый бенчмарк для оценки способности LLM создавать интерактивные веб-приложения. В отличие от статических тестов, которые проверяют код на соответствие фиксированным шаблонам, LiveEvalBench учитывает динамическую природу фронтенда. Система оценивает функциональность и корректность сгенерированных артефактов в реальных браузерных средах, что позволяет точнее измерять пригодность моделей для реальной веб-разработки.
VetScore: метод оценки достоверности ответов ИИ в ветеринарной медицине
Исследователи представили VetScore — новый метод многоэтапной оценки качества ответов LLM в ветеринарии. Инструмент направлен на проверку фактической точности сгенерированного контента относительно предоставленных источников. В высокорискованных областях, таких как медицина, использование цитат не гарантирует верность утверждений, поэтому VetScore вводит систему оценки рисков, минимизирующую вероятность галлюцинаций и повышающую надежность ответов на сложные вопросы.
Сравнение качества научных рецензий от LLM и экспертов-людей
Исследование оценило способность современных LLM генерировать научные рецензии, сопоставив их с результатами экспертного рецензирования на конференциях. Анализ показал, насколько оценки моделей GPT-5.4, Gemini 3.1 Pro и Claude Opus 4.6 коррелируют с итоговыми решениями программных комитетов и приоритетами ученых, выявляя сильные и слабые стороны автоматизированного процесса оценки качества научных работ в контролируемой среде.
Кросс-модельное рецензирование кода: эффективность использования LLM для проверки друг друга
Исследователи проанализировали эффективность использования различных LLM для рецензирования кода, написанного другими моделями. Работа показывает, что кросс-модельная проверка позволяет выявлять специфические ошибки, которые пропускают отдельные архитектуры. Использование более мощных моделей в качестве ревьюеров для кода, сгенерированного специализированными инструментами, значительно повышает качество итогового программного обеспечения, снижая количество логических уязвимостей и синтаксических неточностей в автоматизированных пайплайнах.
Homebench: инструмент для оценки производительности локальных LLM
Homebench — это специализированный фреймворк с открытым исходным кодом, предназначенный для тестирования локальных языковых моделей на потребительском оборудовании. Инструмент позволяет автоматизировать замер ключевых метрик: скорости генерации токенов, потребления оперативной памяти и качества ответов. Решение ориентировано на разработчиков, которые интегрируют локальные модели в свои проекты и нуждаются в объективных данных для выбора оптимальной конфигурации под конкретное железо.
Запуск специализированного бенчмарка для оценки генеративных моделей в дизайне
Разработчики представили специализированный бенчмарк для оценки качества генеративных изображений, ориентированный на профессиональные задачи в области дизайна и продакшена. Инструмент позволяет объективно измерять эффективность моделей в создании контента, который соответствует строгим требованиям визуальной индустрии, выходя за рамки стандартных тестов на общую эстетическую привлекательность или простое соответствие текстовому запросу.
Анализ производительности Claude в задачах на кодинг и архитектуру
Исследование детально разбирает опыт использования модели Claude 3.5 Sonnet в рамках сложного технического задания, которое традиционно предлагается кандидатам при найме на позиции инженеров. Анализ показывает, что модель успешно справилась с проектированием архитектуры и написанием кода, превзойдя средние показатели людей-разработчиков по скорости и качеству реализации функциональных требований в условиях ограниченного времени.