arXiv · 31.07.2026 ·Исследования и наука

TraceViT: новый метод обучения моделей для визуального абстрактного мышления

Исследователи представили архитектуру TraceViT, направленную на улучшение способности ИИ-моделей к абстрактному мышлению в задачах ARC (Abstraction and Reasoning Corpus). В отличие от стандартных подходов, где оценивается только финальный результат, метод вводит «трассировочный надзор» (grounded trace supervision). Это заставляет модель выстраивать логически обоснованную последовательность промежуточных шагов при решении визуальных задач, что значительно повышает точность обобщения правил трансформации.

Традиционные визуальные модели часто сталкиваются с трудностями при попытке перенести логику из нескольких примеров на новую задачу. Авторы TraceViT утверждают, что проблема кроется в отсутствии контроля за процессом рассуждения. Обучение на промежуточных состояниях (трассах) позволяет модели лучше понимать структуру изменений в сетках данных, что делает процесс принятия решений более прозрачным и устойчивым к сложным визуальным паттернам.

Данный подход опирается на архитектуру Vision Transformer (ViT) и адаптирует её для итеративного уточнения прогнозов. Вместо того чтобы просто выдавать итоговую сетку, модель обучается генерировать цепочку преобразований, которая ведет к правильному ответу. Это приближает работу нейросетей к человеческому способу решения задач, где каждый шаг логически вытекает из предыдущего, а не является результатом «черного ящика».

Ключевые факты

TraceViT использует метод grounded trace supervision для контроля промежуточных итераций визуального мышления.
Основным полигоном для тестирования модели стал бенчмарк ARC, требующий вывода правил трансформации из минимального количества примеров.
Метод решает проблему «неограниченных промежуточных состояний», характерную для классических итеративных визуальных моделей.
Архитектура базируется на принципах Vision Transformer, оптимизированных для последовательного уточнения визуальных данных.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Исследования и наука MentalThink: новый метод визуально-символического мышления для мультимодальных моделей Исследователи представили MentalThink — парадигму, наделяющую мультимодальные LLM способностью к «ментальной» визуализации через генерацию SVG-кода. Модель использует векторную графику как промежуточное звено для многошаговых рассуждений, что позволяет ей структурировать визуальные данные, выполнять их рендеринг и интерпретировать результат для решения сложных задач, требующих пространственного мышления и логического вывода. arXiv · Исследования и наука Теоретическое обоснование индуктивного мышления в архитектуре Transformer Исследователи представили теоретическую модель, объясняющую механизмы формирования способностей к индуктивному мышлению у языковых моделей на базе архитектуры Transformer. Авторы работы предложили обобщенный класс задач, объединяющий синтетические тесты, такие как анализ n-грамм в контексте и многошаговые логические выводы, что позволяет глубже понять динамику обучения моделей при решении задач на логику. arXiv · Исследования и наука Variational-Ising-Attention: новый подход к механизмам внимания в научных задачах Исследователи представили Variational-Ising-Attention (VIA) — архитектуру внимания, отходящую от стандартной нормализации softmax. В отличие от индустриальных моделей, ориентированных на обработку длинных контекстов и разреженность, VIA фокусируется на глубоком структурированном взаимодействии токенов. Метод опирается на принципы статистической физики, позволяя эффективнее моделировать сложные зависимости, критически важные для научных вычислений и анализа данных. arXiv · Оценка и бенчмарки TriViewBench: новый бенчмарк для оценки пространственного мышления мультимодальных моделей Исследователи представили TriViewBench — новый бенчмарк для оценки способности мультимодальных моделей (MLLM) к пространственному мышлению. В отличие от стандартных тестов, TriViewBench использует синтетические 3D-сцены с контролируемыми параметрами сложности, такими как количество объектов и степень их перекрытия. Это позволяет точно измерить, как именно архитектура модели справляется с интерпретацией сложных визуальных структур с разных ракурсов. MarkTechPost · Обучение и дообучение TRACE: система обучения ИИ-агентов через синтетические среды Исследователи из Стэнфорда представили TRACE — систему обучения ИИ-агентов, которая превращает повторяющиеся ошибки в специализированные тренировочные среды. Система анализирует траектории действий агента, выявляет пробелы в навыках, создает для них синтетические задачи с подкреплением и обучает отдельные LoRA-адаптеры. Это позволяет агентам динамически подключать нужные экспертные модули для решения сложных задач, значительно повышая точность выполнения операций. arXiv · Исследования и наука Новый метод обучения LVLM через визуально обоснованную саморефлексию Исследователи представили метод обучения мультимодальных моделей (LVLM), который улучшает их способность к саморефлексии через подкрепление (RL). В отличие от стандартных моделей, которые часто игнорируют визуальные данные при исправлении ошибок, новый подход заставляет нейросеть опираться на исходное изображение при анализе цепочки рассуждений, что значительно повышает точность коррекции логических выводов. arXiv · Исследования и наука Масштабируемое визуальное предобучение для развития языковых моделей Исследователи представили новый подход к предобучению нейросетей, который интегрирует визуальные данные — графики, формулы и макеты страниц — в процесс обучения языковых моделей. Текущие методы часто игнорируют визуальный контекст, ограничиваясь текстовыми корпусами, что лишает модели доступа к критически важной информации, передаваемой через структуру и визуальные элементы документов. Hacker News · Исследования и наука Новый метод Looped Transformers для улучшения логических рассуждений моделей Исследователи представили архитектуру Looped Transformers, которая объединяет скрытые (латентные) и явные процессы рассуждения в рамках единой модели. Метод позволяет итеративно уточнять логические выводы, используя циклическую обработку данных. Это решение значительно повышает точность моделей в задачах, требующих многошагового планирования и глубокого анализа, преодолевая ограничения стандартных трансформеров при решении сложных логических цепочек. arXiv · Машинное обучение ToolSciVer: новый подход к проверке научных утверждений с помощью мультимодальных агентов Исследователи представили ToolSciVer — систему для проверки научных гипотез, объединяющую визуальный анализ и обучение с подкреплением. Модель эффективно извлекает данные из графиков, таблиц и схем в научных статьях, решая проблему нехватки точности при интерпретации визуального контента. Метод позволяет агентам автономно находить доказательства и выстраивать логические цепочки для верификации сложных утверждений. arXiv · Исследования и наука Локализация и устранение предвзятости в головах внимания трансформеров Исследователи представили метод точечной коррекции предвзятости в языковых моделях, фокусируясь на конкретных головах внимания (attention heads) вместо полного переобучения. Авторы доказали, что нежелательное поведение моделей часто локализовано в узких компонентах архитектуры. Новый подход позволяет эффективно выявлять и исправлять проблемные параметры, сохраняя общую производительность системы без необходимости дорогостоящего дообучения всей нейросети.

← Все материалы