OpenAI опубликовала результаты тестирования своих последних моделей, включая GPT-4o и экспериментальные версии, в бенчмарке ARC-AGI. Этот тест оценивает способность ИИ к абстрактному мышлению и решению задач, с которыми модель ранее не сталкивалась. Результаты показывают прогресс в логических рассуждениях, однако достижение уровня человеческого интеллекта в подобных задачах остается сложной инженерной задачей.
Бенчмарк ARC-AGI (Abstraction and Reasoning Corpus) считается одним из наиболее строгих тестов для проверки общего интеллекта ИИ. В отличие от стандартных задач на знание фактов, он требует от модели понимания правил игры и их применения в новых условиях. Текущие показатели моделей OpenAI демонстрируют постепенный рост эффективности, но также подчеркивают разрыв между статистическим предсказанием токенов и полноценным логическим выводом.
Исследование акцентирует внимание на том, как именно модели справляются с визуальными и логическими паттернами. Анализ ошибок показывает, что даже при высоких результатах модели часто сталкиваются с трудностями при необходимости построения длинных цепочек рассуждений без опоры на обучающую выборку. Эти данные помогают исследователям лучше понять ограничения текущих архитектур трансформеров.
Ключевые факты
- Бенчмарк ARC-AGI разработан Франсуа Шолле для оценки способности ИИ к обобщению навыков.
- Модели OpenAI показали значительный прирост в решении задач на логическую индукцию по сравнению с предыдущими поколениями.
- Тестирование подтвердило, что текущие LLM все еще испытывают сложности с задачами, требующими глубокого понимания правил «на лету».
- Результаты опубликованы на официальной платформе ARC Prize, отслеживающей прогресс в достижении AGI.