Hugging Face - Blog · 21.04.2026 ·Рейтинги моделей

QIMMA: новый лидерборд для арабских языковых моделей

Команда из TII UAE представила QIMMA — первый лидерборд, ориентированный на качество арабских языковых моделей. В отличие от традиционных рейтингах, QIMMA фокусируется на оценке качества, а не на количестве параметров или производительности на общих бенчмарках.

Лидерборд включает модели от ведущих исследователей и компаний, таких как TII UAE, UAEU и других. QIMMA оценивает модели по нескольким критериям, включая точность, контекстуальное понимание и культурную адаптацию. Это особенно важно для арабского языка, который имеет сложную морфологию и множество диалектов.

Для разработчиков ИИ-агентов, работающих с арабским языком, QIMMA может стать важным инструментом для выбора моделей. Качественные языковые модели критически важны для создания агентов, способных эффективно взаимодействовать с пользователями на арабском языке, особенно в контексте культурных и лингвистических нюансов.

QIMMA также способствует развитию исследований в области арабских языковых моделей, предоставляя исследователям и разработчикам доступ к качественным оценкам и сравнениям моделей. Это может ускорить разработку новых моделей и улучшение существующих, что в конечном итоге приведет к созданию более эффективных и точных ИИ-агентов.

Источник: Hugging Face - Blog

Похожие материалы

arXiv · Оценка стратегий в ИИ-агентах Языковые модели могут оценивать ценность своих стратегий Исследователи изучили, способны ли языковые модели оценивать ценность своих текущих стратегий, то есть вероятность достижения целей. Для этого они использовали синтетические данные обучения с подкреплением и построили "ось ценности" для модели Qwen3-8B. Оказалось, что активации вдоль этой оси различают высокий и низкий уровень уверенности, а также успешные и неудачные стратегии. The latest research from Google · Оценка качества ИИ Как определить достаточное количество экспертов для оценки ИИ Google Research опубликовал исследование, посвящённое вопросу: сколько экспертов нужно для объективной оценки качества ИИ-моделей. В статье рассматриваются методы статистического анализа, которые позволяют определить минимальное количество рейтингов (оценок), необходимых для достижения надёжных результатов. arXiv · Оценка и аудит ИИ Как аудит решений улучшает прозрачность оценки ИИ Исследователи из MIT и других ведущих университетов предложили новый подход к аудиту публичных оценок ИИ-моделей. В статье, опубликованной на arXiv, они утверждают, что текущие рейтинги ИИ часто воспринимаются как окончательные, но на самом деле они представляют собой выборочные временные ряды, искажённые правилами отчётности, пересмотром бенчмарков и пропусками данных. arXiv · Многоязычность в VLA-моделях Исследование: VLA-модели плохо работают с неанглийскими языками Недавнее исследование, опубликованное на arXiv, раскрывает значительный пробел в способности Vision-Language-Action (VLA) моделей работать с языками, отличными от английского. Эти модели, которые демонстрируют многообещающие возможности в обучении универсальных политик роботов на основе мультимодальных данных, в основном обучаются и оцениваются на английских инструкциях. Это оставляет их способность понимать и выполнять команды на других языках практически неизученной. Hacker News · Бенчмарки для ИИ-агентов Первые результаты Legal Agent Benchmark для оценки ИИ-агентов Команда исследователей под руководством Габриэля Перейры представила первые результаты Legal Agent Benchmark (LAB) — нового бенчмарка для оценки способностей ИИ-агентов решать юридические задачи. Бенчмарк включает в себя набор тестов, имитирующих реальные юридические сценарии, такие как анализ договоров, подготовка документов и консультирование по правовым вопросам. Hacker News · Развитие языковых моделей Исследование: динамика развития языковых моделей Исследователи из Artificial Analysis провели анализ динамики развития языковых моделей, включая модели от Anthropic и Mistral. В исследовании рассматривается, как меняется интеллект моделей с течением времени, что позволяет лучше понять их эволюцию и потенциал. The latest research from Google · Разумные агенты и байесовские сети Исследование Google: как обучить ИИ разумно рассуждать Исследователи Google представили новый подход к обучению языковых моделей разумному рассуждению на основе байесовских принципов. В статье, опубликованной на официальном блоге Google Research, описывается метод, который позволяет моделям лучше обрабатывать вероятностные данные и принимать решения в условиях неопределенности. Это особенно важно для разработки ИИ-агентов, которые должны работать в динамических и сложных средах, где точность и логичность рассуждений критически важны. Hacker News · Многомодальные LLM и оценка Многомодальные LLM как судьи для оценки агентов В последнее время всё больше внимания уделяется использованию LLM (Large Language Models) в качестве судей для оценки качества работы других ИИ-агентов. В статье на Substack автор Yinghong Lan рассматривает концепцию Multimodal LLM-as-a-Judge, которая позволяет оценивать не только текстовые, но и мультимодальные данные, такие как изображения и видео. Hacker News · ИИ и восприятие человеком ИИ-модели проходят стандартный тест Тьюринга Исследование, опубликованное в журнале PNAS, показало, что крупные языковые модели успешно проходят стандартный трёхсторонний тест Тьюринга. В эксперименте участвовали 1600 человек, которые общались с ИИ-моделями и людьми, а затем пытались определить, кто из собеседников — человек, а кто — ИИ. Результаты показали, что участники не смогли надёжно различить ИИ и человека, что свидетельствует о высоком уровне человеко-подобности современных языковых моделей. Hacker News · AI-агенты и мировые модели Как мировые модели дают ИИ-агентам «первое лицо» В новом видео исследователи обсуждают концепцию мировых моделей (World Models) и их роль в формировании «первого лица» у ИИ-агентов. Мировые модели — это подход, при котором ИИ создает внутреннюю репрезентацию окружающего мира, что позволяет ему действовать более автономно и адаптивно.

← Все материалы