Hacker News · 16.07.2026 ·Оценка и бенчмарки

Schema Harness достигает 99% точности в бенчмарке ARC-AGI-3

Проект Schema Harness продемонстрировал выдающийся результат в бенчмарке ARC-AGI-3, показав точность около 99%. Этот показатель значительно превосходит возможности современных больших языковых моделей в задачах на абстрактное мышление и логический вывод. Достижение подчеркивает эффективность новых подходов к структурированию данных и алгоритмической обработке задач, требующих способности к обобщению в условиях ограниченной обучающей выборки.

Бенчмарк ARC-AGI (Abstraction and Reasoning Corpus) считается одним из самых сложных тестов для оценки общего интеллекта ИИ, так как он требует от системы понимания правил задачи «на лету», а не простого воспроизведения заученных паттернов. Успех Schema Harness связывают с использованием специализированных методов обработки схем, которые позволяют модели более эффективно интерпретировать визуальные и логические закономерности, заложенные в заданиях.

Данный результат ставит под сомнение текущие ограничения LLM в области рассуждений. В отличие от стандартных моделей, которые часто пасуют перед задачами на логическую индукцию, Schema Harness демонстрирует способность к систематическому решению проблем, которые ранее считались труднодоступными для автоматизированных систем. Это открывает новые перспективы для развития архитектур, ориентированных на решение задач с высокой степенью абстракции.

Ключевые факты

Точность решения задач в бенчмарке ARC-AGI-3 достигла отметки ~99%.
ARC-AGI-3 является актуальной итерацией теста на проверку способностей ИИ к абстрактному мышлению.
Методология проекта фокусируется на формализации схем для улучшения логического вывода.
Результат демонстрирует значительный отрыв от текущих показателей большинства LLM в аналогичных тестах.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Оценка и бенчмарки Система Fable достигла 84% успеха в публичном бенчмарке ARC-AGI Система Fable, работающая в связке с механизмом управления (harness), успешно решила 84% задач из публичного набора ARC-AGI 3 за одну попытку. Этот результат демонстрирует значительный прогресс в способности ИИ-агентов к абстрактному мышлению и решению логических задач, которые ранее считались труднопреодолимыми для стандартных языковых моделей без специализированной доработки. Hacker News · Оценка и бенчмарки Результаты моделей OpenAI в бенчмарке ARC-AGI OpenAI опубликовала результаты тестирования своих последних моделей, включая GPT-4o и экспериментальные версии, в бенчмарке ARC-AGI. Этот тест оценивает способность ИИ к абстрактному мышлению и решению задач, с которыми модель ранее не сталкивалась. Результаты показывают прогресс в логических рассуждениях, однако достижение уровня человеческого интеллекта в подобных задачах остается сложной инженерной задачей. Hacker News · Оценка и бенчмарки Как превзойти Claude в задачах Text-to-SQL: разбор стратегии на бенчмарке BIRD Исследователи Motley AI проанализировали способы улучшения результатов Text-to-SQL, используя бенчмарк BIRD. В ходе экспериментов удалось превзойти показатели стандартных моделей вроде Claude 3.5 Sonnet за счет оптимизации промптов и внедрения специализированных техник обработки запросов. Работа демонстрирует, что даже мощные LLM требуют кастомных подходов для достижения максимальной точности при работе с базами данных. Hacker News · Оценка и бенчмарки Исследование способностей ИИ-агентов в навигации по кодовым базам Ruby on Rails Новое исследование оценило эффективность пяти популярных LLM в задачах навигации и модификации кода в сложных проектах на Ruby on Rails. Несмотря на способность моделей генерировать корректный синтаксис Ruby, они демонстрируют низкую точность при поиске зависимостей и понимании архитектуры крупных кодовых баз, что ограничивает их применимость в реальной разработке без участия человека. Hacker News · Оценка и бенчмарки Новый бенчмарк Baba Is Solved проверяет способности LLM к логическому мышлению Исследователи представили бенчмарк Baba Is Solved, основанный на правилах логической игры Baba Is You. Тест оценивает способность моделей к абстрактному мышлению и планированию в условиях динамически меняющихся правил. Результаты показывают, что даже передовые LLM сталкиваются с серьезными трудностями при решении задач, требующих глубокого понимания логических связей и долгосрочного планирования действий. Hugging Face - Blog · Исследования и наука Анализ производительности новых LLM в задачах RAG Исследование Dharma AI подтверждает, что новейшие языковые модели сохраняют преимущество в задачах с использованием внешних знаний (RAG), несмотря на рост их сложности. Анализ показывает, что современные архитектуры эффективнее справляются с извлечением и синтезом информации из контекста, минимизируя галлюцинации и повышая точность ответов по сравнению с предыдущими поколениями моделей при работе с аналогичными наборами данных. arXiv · Оценка и бенчмарки Исследование гибкости мышления LLM через парадигму «загадок-обманок» Исследователи представили новый метод оценки когнитивных способностей больших языковых моделей под названием «riddle riddle». В отличие от стандартных тестов, этот подход проверяет способность ИИ гибко адаптировать стратегии рассуждения при столкновении с нестандартными задачами. Эксперименты показывают, что модели часто полагаются на заученные паттерны, а не на глубокое понимание логики, что ставит под вопрос их способность к адаптивному мышлению. Hacker News · Модели и релизы Nous Research представила архитектуру Hermes MoA для повышения точности LLM Компания Nous Research анонсировала архитектуру Mixture-of-Agents (MoA), позволяющую объединять несколько специализированных языковых моделей для достижения более высоких результатов. Согласно бенчмаркам, система демонстрирует значительный прирост производительности по сравнению с ведущими проприетарными моделями, превосходя показатели Claude 3 Opus на 8% и GPT-4o на 11% в ряде ключевых задач, что подтверждает эффективность агентного подхода к генерации ответов. Hacker News · Оценка и бенчмарки Обновление CursorBench 3.1 для оценки ИИ-кодинга Команда Cursor представила обновленный бенчмарк CursorBench 3.1, предназначенный для оценки эффективности LLM в задачах написания и редактирования кода. Инструмент фокусируется на реальных сценариях разработки, измеряя способность моделей справляться с многофайловыми изменениями и сложными рефакторингами, что позволяет точнее прогнозировать качество работы ИИ-ассистентов в профессиональной среде программирования. arXiv · Исследования и наука Новый подход к решению задач ARC-AGI-2 через поиск по модальностям Исследователи представили новый метод решения задач из бенчмарка ARC-AGI-2, фокусирующийся на отборе правильных цепочек рассуждений вместо простого их генерирования. Алгоритм использует «целостное суждение о следах» (holistic trace judging), рассматривая различные модальности рассуждений как операторы поиска. Это позволяет эффективно фильтровать ошибочные, но логически связные ответы, которые часто выдают современные языковые модели.

← Все материалы