Исследователи сообщили о преодолении порога в 99% точности в публичном наборе данных бенчмарка ARC-AGI (Abstraction and Reasoning Corpus). Этот показатель демонстрирует значительный прогресс в способности моделей решать задачи на абстрактное мышление и логический вывод, которые ранее считались труднопреодолимыми для систем на базе архитектуры трансформеров, требуя от них способности к обобщению на основе минимального количества примеров.
Бенчмарк ARC-AGI, разработанный Франсуа Шолле, традиционно считается одним из наиболее сложных тестов для оценки общего интеллекта ИИ, так как он проверяет способность модели адаптироваться к новым правилам, а не просто воспроизводить заученные паттерны из обучающей выборки. Достижение столь высокого результата указывает на качественный сдвиг в методах обучения или архитектурных подходах, позволяющих моделям эффективнее справляться с задачами, требующими формирования логических концепций «на лету».
Использование специализированного инструментария для оценки (harness) позволило стандартизировать процесс тестирования и подтвердить, что модель успешно справляется с подавляющим большинством задач из публичного набора. Это ставит новые вопросы перед сообществом разработчиков относительно того, насколько текущие бенчмарки остаются актуальными для измерения прогресса в сторону создания систем с полноценным рассуждением, и какие метрики станут следующими для оценки способностей ИИ.
Ключевые факты
- Результат 99% зафиксирован на публичном наборе данных бенчмарка ARC-AGI.
- Бенчмарк ARC-AGI сфокусирован на проверке способностей к абстрактному мышлению и логическому выводу.
- Тестирование проводилось с использованием стандартизированного инструментария (harness) для обеспечения чистоты эксперимента.
- Достигнутый показатель значительно превышает предыдущие результаты, демонстрируя высокую эффективность в задачах на обобщение.