Hacker News · 31.07.2026 ·Оценка и бенчмарки

Deep-20: новый бенчмарк для LLM на основе игры «20 вопросов»

Исследователи представили Deep-20 — новый метод оценки языковых моделей, основанный на классической игре «20 вопросов». В отличие от статических тестов, этот подход проверяет способность ИИ к стратегическому планированию, задаванию уточняющих вопросов и эффективному сбору информации в условиях неопределенности. Бенчмарк позволяет оценить логику моделей в динамических диалогах, где успех зависит от качества каждого последующего запроса.

Традиционные бенчмарки часто страдают от «загрязнения» данных, когда модели обучаются на тестовых вопросах. Использование игры «20 вопросов» минимизирует этот риск, так как пространство возможных стратегий и путей к правильному ответу практически бесконечно. Модель должна не просто извлекать факты из памяти, а выстраивать иерархию гипотез, отсекая неверные варианты на основе полученных ответов.

Методология Deep-20 включает в себя оценку как способности модели быть «отгадывающим» (игроком), так и «загадывающим» (ведущим). Это дает более глубокое понимание того, насколько эффективно модель управляет контекстом и как она адаптирует свои рассуждения в зависимости от ответов собеседника. Такой подход приближает тестирование LLM к реальным сценариям использования, где ИИ-агенты должны взаимодействовать с пользователями для уточнения их потребностей.

Ключевые факты

Deep-20 оценивает способность моделей к многоходовому планированию и сбору информации через диалог.
Бенчмарк минимизирует влияние «загрязнения» данных, характерного для статических тестов с фиксированными вопросами.
Тестирование включает две роли: модель-игрок, которая задает вопросы, и модель-ведущий, которая хранит секретный объект.
Метод позволяет измерить эффективность поиска информации и логическую последовательность рассуждений в динамической среде.
Проект опубликован с открытым исходным кодом для независимой проверки производительности различных LLM.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Оценка и бенчмарки Kebab Benchmark: новый подход к оценке логических способностей LLM Kebab Benchmark — это новый метод тестирования больших языковых моделей, сфокусированный на проверке их способности к последовательному рассуждению и выполнению многошаговых инструкций. В отличие от стандартных тестов, этот бенчмарк моделирует сложные сценарии, требующие от ИИ удержания контекста и соблюдения строгих логических ограничений при решении прикладных задач. arXiv · Оценка и бенчмарки Новый бенчмарк оценивает эффективность LLM в реальных бизнес-задачах Исследователи представили новый бенчмарк для оценки способностей больших языковых моделей в решении повседневных задач «белых воротничков». В отличие от стандартных тестов на кодинг или математику, методология фокусируется на аналитической работе, синтезе сложной информации и принятии бизнес-решений. Результаты показывают, насколько эффективно современные модели справляются с реальными профессиональными процессами, требующими глубокого контекстуального понимания и критического мышления. Hacker News · Оценка и бенчмарки Wolfram запустила проект по глубокому бенчмаркингу LLM Компания Wolfram Research представила проект для комплексной оценки возможностей больших языковых моделей. В отличие от стандартных тестов, методология фокусируется на проверке способности ИИ к вычислениям, логическим рассуждениям и работе с точными данными через интеграцию с вычислительным движком Wolfram|Alpha. Проект предоставляет прозрачные метрики для сравнения производительности ведущих моделей в решении задач, требующих высокой точности. Hacker News · Оценка и бенчмарки Запущен IOL-AI 2026: бенчмарк для проверки способностей LLM к лингвистическому анализу Организаторы Международной лингвистической олимпиады представили IOL-AI 2026 — специализированный бенчмарк для оценки способностей языковых моделей к решению сложных лингвистических задач. В отличие от стандартных тестов на знание грамматики, этот набор данных требует от ИИ навыков логического вывода, дедукции и способности выявлять закономерности в незнакомых языковых системах, имитируя реальные олимпиадные задания. Hacker News · Оценка и бенчмарки WorldBuild Bench: новый бенчмарк для проверки логики и связности мира в LLM WorldBuild Bench — это новый инструмент для оценки способности больших языковых моделей поддерживать внутреннюю логику и пространственную связность при описании виртуальных миров. Проект использует 3D-игры как среду для тестирования, проверяя, насколько точно модель понимает архитектуру пространства, расположение объектов и причинно-следственные связи в динамической среде, что критически важно для создания сложных ИИ-агентов. arXiv · Оценка и бенчмарки InvestPhilBench: новый бенчмарк для оценки инвестиционного мышления LLM Исследователи представили InvestPhilBench — специализированный бенчмарк для оценки способности больших языковых моделей применять экспертные инвестиционные стратегии. В отличие от стандартных тестов, система проверяет не просто знание фактов, а глубину процедурного мышления, охватывая восемь когнитивных уровней: от идентификации базовых принципов до экстраполяции сложных инвестиционных фреймворков в новых рыночных условиях. Hacker News · Оценка и бенчмарки Crucible: использование среды MUD для оценки LLM Исследователи представили Crucible — новый бенчмарк для оценки LLM, использующий механику текстовых многопользовательских игр (MUD). В отличие от статических тестов, эта среда требует от модели долгосрочного планирования, взаимодействия с динамическим миром и управления инвентарем. Проект доказывает, что создание сложных игровых миров для тестирования ИИ-агентов возможно при бюджете менее 100 долларов. Hacker News · Оценка и бенчмарки Новый бенчмарк Baba Is Solved проверяет способности LLM к логическому мышлению Исследователи представили бенчмарк Baba Is Solved, основанный на правилах логической игры Baba Is You. Тест оценивает способность моделей к абстрактному мышлению и планированию в условиях динамически меняющихся правил. Результаты показывают, что даже передовые LLM сталкиваются с серьезными трудностями при решении задач, требующих глубокого понимания логических связей и долгосрочного планирования действий. Hacker News · Оценка и бенчмарки Почему большинство систем оценки ИИ-моделей неэффективны Современные методы оценки LLM часто страдают от методологических ошибок, делая результаты тестов нерелевантными для реальных задач. Основная проблема заключается в использовании статических наборов данных и поверхностных метрик, которые не отражают способность модели к рассуждению. В результате разработчики получают завышенные показатели, которые не гарантируют стабильную работу агентов в сложных производственных сценариях. Hacker News · Оценка и бенчмарки SlimeBallBench: новый бенчмарк для оценки агентных способностей ИИ в динамических средах SlimeBallBench — это новый специализированный бенчмарк, предназначенный для тестирования агентных навыков больших языковых моделей в условиях динамической игры в «слизневый футбол». В отличие от статических тестов, этот инструмент оценивает способность моделей к планированию, быстрой реакции и стратегическому взаимодействию в реальном времени, что критически важно для развития автономных агентов.

← Все материалы