Оценка и бенчмарки
PerceptionBench: новый стандарт оценки визуального восприятия в мультимодальных LLM
Исследователи представили PerceptionBench — специализированный бенчмарк для оценки способности мультимодальных языковых моделей к атомарному визуальному восприятию. В отличие от общих тестов, этот инструмент фокусируется на базовых навыках распознавания объектов, их свойств и пространственных отношений, что позволяет точнее выявлять слабые места в архитектурах моделей при обработке визуальных данных.
Favur Evals: инструмент для отладки и оценки работы ИИ-агентов
Favur Evals — это специализированная платформа для тестирования и анализа поведения ИИ-агентов, позволяющая разработчикам воспроизводить, изучать и контролировать цепочки действий моделей. Инструмент фокусируется на глубокой отладке агентных процессов, предоставляя возможность детального анализа реплеев для выявления ошибок в логике принятия решений и повышения предсказуемости автономных систем в сложных сценариях.
Новый бенчмарк для проверки активного зрения у мультимодальных моделей
Исследователи представили новый бенчмарк для оценки способности мультимодальных моделей (MLLM) к «активному наблюдению». В отличие от стандартных тестов, анализирующих статические изображения, этот метод проверяет, как модели управляют вниманием и корректируют гипотезы в процессе обработки визуальной информации, имитируя человеческий подход к восприятию, основанный на непрерывном цикле обратной связи и перенаправлении взгляда.
Метод CRAFT для диагностики ошибок LLM и автоматической генерации данных для дообучения
Исследователи представили метод CRAFT, который переводит оценку языковых моделей с простого измерения метрик на глубокую диагностику причин неудач. Вместо фиксации факта ошибки система кластеризует проблемные примеры по логическим рубрикам, выявляя конкретные пробелы в способностях модели. Это позволяет автоматически генерировать целевые наборы данных для последующего дообучения, устраняя слабые места в архитектуре LLM.
Унификация порогов безопасности для Frontier-моделей
Исследователи предложили методологию для гармонизации порогов безопасности в разработке передовых ИИ-моделей. Сейчас компании устанавливают собственные критерии оценки рисков, что затрудняет независимый аудит и создает угрозу снижения стандартов безопасности в конкурентной гонке. Новый подход позволяет привести разрозненные требования к единому знаменателю, обеспечивая прозрачность и сопоставимость систем защиты для разработчиков и регуляторов.
Масштабный отчет: оценка качества API для 1323 ИИ-платформ
Аналитики представили масштабный отчет The API Report Card, в котором оценили качество и надежность API более 1300 ИИ-платформ. Исследование охватывает широкий спектр сервисов, предоставляющих доступ к языковым моделям и агентным инструментам. Авторы проанализировали доступность, стабильность и документацию, чтобы выявить лидеров рынка и системные проблемы, с которыми сталкиваются разработчики при интеграции сторонних решений в свои продукты.
Новый бенчмарк оценивает эффективность LLM в реальных бизнес-задачах
Исследователи представили новый бенчмарк для оценки способностей больших языковых моделей в решении повседневных задач «белых воротничков». В отличие от стандартных тестов на кодинг или математику, методология фокусируется на аналитической работе, синтезе сложной информации и принятии бизнес-решений. Результаты показывают, насколько эффективно современные модели справляются с реальными профессиональными процессами, требующими глубокого контекстуального понимания и критического мышления.
Скандал на Kaggle: победа ИИ-контента в конкурсе на оценку AGI
На платформе Kaggle разгорелся спор вокруг результатов конкурса «Measuring AGI», организованного при поддержке DeepMind. Победившая работа, получившая главный приз в 25 000 долларов, была обвинена сообществом в использовании низкокачественного сгенерированного контента (AI slop). Участники указывают на отсутствие глубокой методологии и содержательную пустоту представленного решения, что ставит под вопрос эффективность текущих подходов к оценке ИИ-систем.
Исследование выявило языковую предвзятость LLM при оценке ответов
Исследователи обнаружили, что современные LLM, используемые в качестве автоматических судей, демонстрируют значительную предвзятость при оценке ответов на разных языках. Модели склонны завышать оценки текстам на английском языке и занижать их для других языков, даже если качество контента идентично. Это ставит под сомнение надежность текущих методов автоматизированного тестирования ИИ-систем в мультиязычных средах.
Исследование: качество юнит-тестов, написанных ИИ и человеком
Новое исследование опровергает миф о том, что ИИ-ассистенты генерируют менее качественные или «пустые» юнит-тесты по сравнению с разработчиками-людьми. Анализ показал, что код тестов, созданный современными LLM, сопоставим по уровню покрытия и надежности с ручным написанием, что подтверждает эффективность использования генеративного ИИ в процессах обеспечения качества программного обеспечения.
Wandr: новый бенчмарк для оценки исследовательских ИИ-агентов
Представлен Wandr — специализированный бенчмарк для оценки способности ИИ-агентов проводить глубокие и многоэтапные исследования. В отличие от стандартных тестов, Wandr фокусируется на задачах, требующих широкого поиска информации, анализа разрозненных источников и синтеза ответов на сложные вопросы, где агент должен самостоятельно планировать стратегию поиска и корректировать её в зависимости от промежуточных результатов.
Kimi K3 обошла GPT-4o в агентных задачах по работе со знаниями
Новая модель Kimi K3 от компании Moonshot AI продемонстрировала превосходство над GPT-4o в комплексных агентных задачах, связанных с обработкой знаний. Согласно свежим результатам тестирования Artificial Analysis, модель показала более высокую точность и эффективность при выполнении многошаговых инструкций, что делает её одним из лидеров в сегменте специализированных интеллектуальных систем для автоматизации когнитивной работы.
GPT-5.6 показала результаты уровня золотой медали на IMO 2026
Новая модель GPT-5.6 продемонстрировала способность самостоятельно решать олимпиадные задачи по математике уровня IMO 2026 без участия человека. Система успешно справилась с полным набором заданий, показав результат, соответствующий уровню золотой медали. Это достижение подтверждает значительный прогресс в области автоматизированного логического вывода и способности моделей к решению сложных многошаговых математических доказательств.
BotTrade: новый бенчмарк для оценки автономных торговых ИИ-агентов
Представлен BotTrade — открытый бенчмарк для тестирования автономных торговых агентов на исторических рыночных данных. Инструмент позволяет воспроизводить рыночные сценарии, оценивая эффективность принятия решений ИИ в условиях реальной волатильности. Платформа ориентирована на стандартизацию оценки стратегий, позволяя разработчикам сравнивать производительность своих моделей в контролируемой, но реалистичной среде, имитирующей биржевую торговлю.
Достигнут результат 99% в бенчмарке ARC-AGI
Исследователи сообщили о преодолении порога в 99% точности в публичном наборе данных бенчмарка ARC-AGI (Abstraction and Reasoning Corpus). Этот показатель демонстрирует значительный прогресс в способности моделей решать задачи на абстрактное мышление и логический вывод, которые ранее считались труднопреодолимыми для систем на базе архитектуры трансформеров, требуя от них способности к обобщению на основе минимального количества примеров.
Schema Harness достигает 99% точности в бенчмарке ARC-AGI-3
Проект Schema Harness продемонстрировал выдающийся результат в бенчмарке ARC-AGI-3, показав точность около 99%. Этот показатель значительно превосходит возможности современных больших языковых моделей в задачах на абстрактное мышление и логический вывод. Достижение подчеркивает эффективность новых подходов к структурированию данных и алгоритмической обработке задач, требующих способности к обобщению в условиях ограниченной обучающей выборки.
Новый бенчмарк Baba Is Solved проверяет способности LLM к логическому мышлению
Исследователи представили бенчмарк Baba Is Solved, основанный на правилах логической игры Baba Is You. Тест оценивает способность моделей к абстрактному мышлению и планированию в условиях динамически меняющихся правил. Результаты показывают, что даже передовые LLM сталкиваются с серьезными трудностями при решении задач, требующих глубокого понимания логических связей и долгосрочного планирования действий.
Новый подход к оценке ИИ-агентов в кибербезопасности с учетом стоимости ресурсов
Исследователи представили методологию оценки ИИ-агентов в сфере кибербезопасности, которая смещает фокус с чистого процента успеха на экономическую эффективность. В реальных операциях каждый шаг рассуждений, вызов инструментов и запрос к телеметрии расходуют бюджет. Авторы доказывают, что текущие бенчмарки, игнорирующие затраты на инференс, не отражают реальную пригодность моделей для промышленного использования в защите и нападении.
Результаты тестирования модели Inkling от Thinking Machines
Компания Thinking Machines представила Inkling — новую модель с открытыми весами, которая демонстрирует лидерство среди американских разработок в своем классе. Согласно результатам независимого тестирования Artificial Analysis, модель показывает выдающиеся показатели в задачах на логическое мышление и кодинг, превосходя многие существующие аналоги по соотношению производительности и доступности для локального развертывания.
Symbal: новый метод выявления систематических ошибок в мультимодальных моделях
Исследователи представили Symbal — фреймворк для обнаружения систематических расхождений между изображениями и сгенерированными описаниями в мультимодальных моделях (MLLM). Метод выявляет закономерности, при которых модель стабильно ошибается в присутствии определенных визуальных признаков. Это позволяет точнее оценивать надежность моделей и выявлять скрытые дефекты в их способности интерпретировать визуальный контент, что критически важно для повышения качества генерации данных.
MM-IssueLoc: новый бенчмарк для оценки визуальных данных в задачах отладки кода
Исследователи представили MM-IssueLoc — специализированный бенчмарк для оценки способности мультимодальных моделей локализовать ошибки в репозиториях на основе визуальных доказательств. В отличие от существующих тестов, фокусирующихся только на тексте или сквозном исправлении кода, новый инструмент изолирует этап поиска проблемы, позволяя точно измерить вклад скриншотов, логов и UI-состояний в процесс отладки ПО.
ReactBench: новый стандарт для оценки ИИ-агентов в разработке на React
Представлен ReactBench — специализированный бенчмарк для тестирования возможностей ИИ-агентов в реальных задачах веб-разработки на React. В отличие от стандартных тестов на алгоритмические задачи, этот инструмент фокусируется на работе с комплексными кодовыми базами, требующими понимания структуры компонентов, управления состоянием и взаимодействия с API в условиях, приближенных к реальным проектам.
Применимость теории IRT для оценки способностей ИИ-моделей
Исследователи проанализировали использование теории отклика на пункты (IRT) в оценке ИИ-моделей. Метод, заимствованный из психометрии, активно применяется для ранжирования систем и отбора данных, однако авторы указывают на фундаментальные различия между человеческим тестированием и бенчмарками ИИ, которые ставят под сомнение точность и надежность стандартных статистических инструментов в текущих условиях.
Разрыв в оценке ИИ-агентов: почему корпоративные решения проваливаются в продакшене
Корпоративный сектор столкнулся с критическим разрывом между внутренними тестами ИИ-агентов и их реальной эффективностью. Опрос 157 крупных компаний показал, что 50% организаций выпустили в продакшен агентов, которые успешно прошли внутреннюю проверку, но не справились с реальными задачами пользователей. Основная проблема заключается в несоответствии тестовых сценариев и сложности реальных бизнес-процессов.