Проект Humans vs. LLMs предлагает пользователям проверить свои силы в решении задач из HLE (Humanity's Last Exam) — набора тестов, разработанного для оценки способностей ИИ-моделей. Цель инициативы — сравнить когнитивные навыки человека и современных языковых моделей в условиях, где требуется глубокое понимание контекста, логика и креативное мышление, выходящие за рамки стандартных академических тестов.
HLE представляет собой сложный набор заданий, которые традиционно считаются «последним рубежом» для автоматизированных систем. В отличие от классических бенчмарков, сфокусированных на выборе правильного ответа, этот тест требует развернутых аргументов и демонстрации процесса рассуждения. Участие людей в тестировании позволяет собрать данные о том, насколько эффективно модели справляются с задачами, которые остаются интуитивно понятными для человека, но сложными для алгоритмов.
Результаты этого сравнения помогают исследователям лучше понять границы возможностей текущих архитектур LLM. Анализ ответов людей и моделей позволяет выявить специфические паттерны ошибок, характерные для нейросетей, и определить области, где разрыв между человеческим интеллектом и машинным обучением остается наиболее существенным.
Ключевые факты
- HLE (Humanity's Last Exam) позиционируется как сложный набор тестов для оценки когнитивных способностей ИИ.
- Платформа позволяет сравнивать результаты реальных людей с ответами различных языковых моделей в режиме реального времени.
- Тестирование сфокусировано на задачах, требующих глубокого логического вывода и нестандартного мышления.
- Проект направлен на выявление качественных различий в процессе генерации ответов между человеком и LLM.