Компания Wolfram Research представила проект для комплексной оценки возможностей больших языковых моделей. В отличие от стандартных тестов, методология фокусируется на проверке способности ИИ к вычислениям, логическим рассуждениям и работе с точными данными через интеграцию с вычислительным движком Wolfram|Alpha. Проект предоставляет прозрачные метрики для сравнения производительности ведущих моделей в решении задач, требующих высокой точности.
Основная проблема современных бенчмарков заключается в их подверженности «загрязнению» данными, когда модели обучаются на самих тестовых вопросах. Wolfram предлагает подход, основанный на динамической генерации задач, которые невозможно решить простым воспроизведением заученного текста. Это позволяет оценить реальный потенциал моделей в областях, где критически важна верифицируемость ответов, таких как математика, программирование и научные исследования.
Система использует вычислительные возможности Wolfram Language для проверки корректности ответов ИИ. Это создает объективную среду тестирования, где результат оценивается не по близости к эталонному тексту, а по фактической правильности вычислений и логических выводов. Такой подход помогает выявить сильные и слабые стороны архитектур при работе с внешними инструментами и базами знаний.
Ключевые факты
- Проект оценивает способность моделей к выполнению вычислений и логическому анализу с использованием Wolfram|Alpha.
- Методология направлена на борьбу с проблемой «загрязнения» бенчмарков данными, на которых модели проходили обучение.
- Оценка проводится через автоматизированную проверку ответов с помощью вычислительного движка, что исключает субъективность.
- Результаты тестирования доступны для сравнения различных архитектур LLM в задачах, требующих высокой точности и верификации данных.