arXiv · 18.06.2026 ·Оценка и бенчмарки

Расширение бенчмарка LiveCodeBench на несколько языков программирования

Исследователи представили Multi-LCB — расширенную версию бенчмарка LiveCodeBench, предназначенную для комплексной оценки навыков генерации кода у больших языковых моделей. Оригинальный проект LiveCodeBench стал стандартом в индустрии благодаря использованию актуальных задач с площадок для спортивного программирования и строгому контролю за утечкой данных, что позволяет объективно проверять способности моделей решать новые, ранее не встречавшиеся задачи.

Основное ограничение предыдущей версии заключалось в узкой специализации на языке Python. Multi-LCB снимает это ограничение, добавляя поддержку широкого спектра языков программирования. Такой подход позволяет более точно оценить кросс-языковую компетенцию моделей, выявляя различия в качестве генерации кода для разных синтаксисов и парадигм программирования.

Новый бенчмарк сохраняет методологию фильтрации задач по дате публикации, что критически важно для предотвращения «загрязнения» обучающих выборок моделей. Использование Multi-LCB дает разработчикам и исследователям возможность получать более репрезентативные данные о производительности LLM в реальных сценариях разработки, где часто требуется владение несколькими языками программирования одновременно.

Источник: arXiv

Похожие материалы

Hacker News · Оценка и бенчмарки LifeSciBench: новый стандарт оценки LLM в области наук о жизни Исследователи представили LifeSciBench — специализированный бенчмарк для оценки возможностей больших языковых моделей в решении задач экспертного уровня в биологии, химии и медицине. В отличие от общих тестов, этот набор данных сфокусирован на проверке способности моделей работать с узкоспециализированной научной терминологией, анализировать молекулярные структуры и интерпретировать сложные экспериментальные данные. arXiv · Оценка и бенчмарки Новый бенчмарк для оценки работы языковых моделей в диагностических диалогах Исследователи представили DiagFlowBench — новый бенчмарк для оценки способности языковых моделей обрабатывать запросы, выходящие за рамки стандартных процедур в диагностических диалогах. Языковые модели всё чаще используются в системах поддержки технического обслуживания, где важно избежать генерации некорректной информации (hallucination). Для этого модели привязывают к официальной документации, чтобы они следовали только утверждённым шагам. arXiv · Оценка и бенчмарки Новый метод борьбы с предвзятостью LLM-судей при оценке качества ответов Исследователи представили новый подход к оценке больших языковых моделей, использующих другие LLM в качестве «судей». Текущие системы автоматической оценки часто страдают от систематических искажений, не связанных с качеством контента. Наиболее выраженной проблемой является «предвзятость к многословию»: модели склонны завышать оценки длинным ответам, даже если они менее точны или информативны, чем краткие варианты. Hacker News · Оценка и бенчмарки Models Pie: визуализация баланса скорости, цены и качества LLM Сервис Models Pie представил интерактивный инструмент для сравнения популярных языковых моделей на основе трех ключевых метрик: скорости генерации, стоимости токенов и качества ответов. Платформа агрегирует данные о производительности актуальных LLM, позволяя разработчикам и бизнесу подбирать оптимальное решение под конкретные задачи, где критически важен баланс между затратами на инференс и временем отклика. Hacker News · Инфраструктура для агентов AptSelect: инструмент для параллельного тестирования и оценки локальных LLM Вышел AptSelect — клиент для локального запуска и тестирования больших языковых моделей. Инструмент ориентирован на разработчиков, которым необходимо проводить параллельную оценку нескольких моделей или различных конфигураций промптов в одной среде. Основная задача платформы заключается в упрощении процесса сравнения ответов моделей, что критически важно при выборе подходящего движка для конкретных агентных задач. Hacker News · Оценка и бенчмарки Почему современные бенчмарки LLM теряют актуальность Существующие методы оценки больших языковых моделей все чаще подвергаются критике из-за несоответствия реальным задачам пользователей. Традиционные бенчмарки, основанные на статических наборах вопросов и ответов, перестали быть надежным индикатором качества работы ИИ. Проблема заключается в том, что модели обучаются на огромных массивах данных, которые часто включают в себя сами тестовые задания. Это приводит к «зазубриванию» ответов и завышению показателей, которые не отражают реальную способность системы к рассуждению или решению нестандартных проблем. arXiv · Оценка и бенчмарки Новый бенчмарк CWE-Trace для проверки навыков LLM в поиске уязвимостей Исследователи представили фреймворк CWE-Trace, предназначенный для оценки способности больших языковых моделей обнаруживать уязвимости в системном программном обеспечении. Основная проблема существующих решений заключается в том, что модели часто показывают высокие результаты на тестах лишь благодаря заучиванию данных, а не реальному пониманию принципов безопасности. Новый набор данных включает 834 тщательно отобранных примера из ядра Linux, охватывающих 74 типа типичных ошибок программирования (CWE). arXiv · Исследования и наука ChLogic: тестирование логического мышления моделей на китайском Исследователи представили новый бенчмарк ChLogic, который оценивает способность языковых моделей сохранять логическое мышление при работе с китайскими выражениями. В отличие от английских тестов, ChLogic проверяет, как модели справляются с логическими структурами, представленными на китайском языке. Hacker News · Модели и релизы GLM 5.2 показал высокие результаты в бенчмарках Новая версия модели GLM 5.2 продемонстрировала впечатляющие результаты в различных бенчмарках. Согласно последним тестам, модель превзошла своих предшественников по ряду ключевых метрик, включая точность и скорость обработки запросов. Hacker News · Оценка и бенчмарки Исследование: обрезанные LLM проваливают тесты на открытые вопросы Исследователи из Стэнфорда и MIT провели исследование, показавшее, что обрезанные (pruned) языковые модели, успешно проходящие тесты с выбором ответа, часто не справляются с задачами, требующими свободного ответа. В статье, опубликованной на arXiv, авторы утверждают, что традиционные бенчмарки могут давать ложное представление о способностях моделей.

← Все материалы