Hacker News · 16.06.2026 ·Оценка и бенчмарки

Проблемы с бенчмарками для промптов

Бенчмарки для оценки качества промптов часто сталкиваются с рядом проблем, которые могут искажать результаты. В новой статье рассматриваются ключевые аспекты, такие как избыточность данных и некорректные методы тестирования.

Авторы подчеркивают, что многие бенчмарки не учитывают реальные сценарии использования, что приводит к неточным оценкам. Например, тесты могут быть слишком узкоспециализированными или не учитывать контекст, в котором применяются промпты.

Одной из главных проблем является избыточность данных, когда в бенчмарках используются дублирующиеся или нерелевантные примеры. Это может привести к завышенным оценкам качества моделей, так как они учатся на повторяющихся данных.

Также отмечается, что многие бенчмарки не учитывают динамические изменения в моделях и промптах. В результате оценки могут устаревать уже через несколько месяцев после публикации.

Статья предлагает несколько рекомендаций по улучшению бенчмарков, включая использование более разнообразных и актуальных данных, а также применение более сложных методов оценки, которые учитывают контекст и динамику.

Источник: Hacker News

Похожие материалы

arXiv · Память и RAG Новый бенчмарк для клинического QA с доказательствами Исследователи представили EHRNote-ChatQA — бенчмарк для оценки систем, способных отвечать на сложные медицинские вопросы с опорой на доказательства. Он основан на выписках пациентов (discharge summaries), которые содержат ключевую информацию о госпитализации и используются врачами для принятия решений. arXiv · Оценка и бенчмарки AgentBeats: новый подход к оценке ИИ-агентов Исследователи из Arxiv предложили новый подход к оценке ИИ-агентов, который решает проблему фрагментированности тестирования. В статье "AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility" авторы отмечают, что существующие бенчмарки часто зависят от фиксированных, ориентированных на LLM, тестовых фреймворков. Это создает несоответствие между тестовыми и производственными условиями, а также ограничивает справедливое сравнение различных архитектур агентов. Microsoft Research · Память и RAG SocialReasoning-Bench: как ИИ-агенты действуют в интересах пользователей Исследователи из Microsoft представили SocialReasoning-Bench — новый бенчмарк, который оценивает способность ИИ-агентов действовать в интересах пользователей. В ходе тестирования различных моделей выяснилось, что хотя агенты демонстрируют компетентность в выполнении задач, они не всегда способны улучшать положение пользователя, даже при явных инструкциях оптимизировать свои действия. The latest research from Google · Оценка и бенчмарки Как определить достаточное количество экспертов для оценки ИИ Google Research опубликовал исследование, посвящённое вопросу: сколько экспертов нужно для объективной оценки качества ИИ-моделей. В статье рассматриваются методы статистического анализа, которые позволяют определить минимальное количество рейтингов (оценок), необходимых для достижения надёжных результатов. Hugging Face - Blog · Оценка и бенчмарки VAKRA: новый бенчмарк для тестирования ИИ-агентов Исследователи из IBM Research представили VAKRA — новый бенчмарк для оценки способностей ИИ-агентов к логическому мышлению, использованию инструментов и обработке ошибок. В отличие от существующих тестов, VAKRA фокусируется на комплексных сценариях, требующих от агентов не только генерации текста, но и выполнения последовательных действий с анализом промежуточных результатов. Hacker News · Оценка и бенчмарки Как оценивать эффективность ИИ-агентов Разработчики ИИ-агентов сталкиваются с серьёзной проблемой: отсутствием стандартов для измерения их стоимости и эффективности. В отличие от традиционных программных продуктов, где метрики успеха относительно чёткие, агентские системы требуют комплексного подхода к оценке. Это включает не только производительность, но и качество взаимодействия с пользователями, экономическую эффективность и долгосрочную ценность. arXiv · Обучение и дообучение Исследование: почему ИИ-репетиторы не работают так, как ожидается Исследователи из MIT и Стэнфорда опубликовали работу, в которой ставят под сомнение эффективность современных ИИ-репетиторов. Проблема в том, что текущие методы оценки и обучения таких систем основаны на предположении, что студенты будут активно взаимодействовать с ИИ-репетитором, следуя его подсказкам и шагам. Однако в реальном мире это происходит далеко не всегда. Hacker News · Оценка и бенчмарки Large Text Compression Benchmark сравнивает алгоритмы сжатия для больших текстов Исследовательский проект Large Text Compression Benchmark представляет собой сравнительный анализ различных алгоритмов сжатия текста. В рамках проекта оцениваются эффективность и производительность алгоритмов при работе с большими объемами текстовой информации. Это особенно важно для разработчиков ИИ-агентов, так как сжатие текста может значительно снизить нагрузку на память и ускорить обработку данных. arXiv · Оценка и бенчмарки Как аудит решений улучшает прозрачность оценки ИИ Исследователи из MIT и других ведущих университетов предложили новый подход к аудиту публичных оценок ИИ-моделей. В статье, опубликованной на arXiv, они утверждают, что текущие рейтинги ИИ часто воспринимаются как окончательные, но на самом деле они представляют собой выборочные временные ряды, искажённые правилами отчётности, пересмотром бенчмарков и пропусками данных. NVIDIA Technical Blog · Оценка и бенчмарки NVIDIA создала первый бенчмарк для агентов и лидирует в кодинге NVIDIA представила первый бенчмарк для оценки производительности ИИ-агентов, который учитывает сложность современных инференс-задач. До этого в индустрии не было единого стандарта для измерения эффективности агентов, особенно в задачах, требующих многократных вызовов моделей и сложной оркестрации.

← Все материалы