Система Fable, работающая в связке с механизмом управления (harness), успешно решила 84% задач из публичного набора ARC-AGI 3 за одну попытку. Этот результат демонстрирует значительный прогресс в способности ИИ-агентов к абстрактному мышлению и решению логических задач, которые ранее считались труднопреодолимыми для стандартных языковых моделей без специализированной доработки.
Бенчмарк ARC-AGI (Abstraction and Reasoning Corpus) считается одним из наиболее строгих тестов на «интеллект общего уровня», так как он требует от модели не просто воспроизведения заученных данных, а понимания правил и закономерностей в совершенно новых визуальных контекстах. Достижение показателя в 84% за один проход подчеркивает эффективность текущих подходов к агентной архитектуре, позволяющих модели адаптироваться к условиям задачи «на лету».
Успех Fable связывают с оптимизацией процесса взаимодействия модели с тестовой средой. В отличие от классических подходов, где модель полагается на вероятностную генерацию текста, здесь агент демонстрирует способность к итеративному анализу входных данных и проверке гипотез, что критически важно для задач, требующих логического вывода и пространственного мышления.
Ключевые факты
- Fable успешно справилась с 84% задач из публичного набора ARC-AGI 3.
- Результат достигнут за один проход (one playthrough), что исключает многократные попытки с исправлением ошибок.
- ARC-AGI является эталонным тестом для оценки способности ИИ к обобщению и решению задач, с которыми модель ранее не сталкивалась.
- Использование специализированного «harness» (обвязки) позволило агенту эффективнее взаимодействовать с логическими структурами бенчмарка.