arXiv · 17.06.2026 ·Машинное обучение

OneCanvas: новый подход к 3D-восприятию в мультимодальных моделях

Исследователи представили метод OneCanvas, упрощающий процесс понимания трехмерных сцен для мультимодальных моделей (VLM). Традиционные подходы к этой задаче часто требуют использования специализированных геометрических энкодеров или значительных вычислительных ресурсов для обучения пространственному мышлению. Новый метод предлагает альтернативный путь, объединяя признаки из различных ракурсов изображения на едином панорамном полотне с равнопромежуточной проекцией.

Алгоритм работает путем проецирования отдельных фрагментов изображения в трехмерные мировые координаты. Для этого используются данные о глубине сцены и параметрах положения камеры. Собранные таким образом признаки формируют целостное панорамное представление, которое позволяет модели эффективнее анализировать пространственные связи без необходимости в сложных архитектурных надстройках. Такой подход значительно снижает требования к сложности модели при сохранении высокой точности интерпретации 3D-пространства.

Разработка направлена на оптимизацию работы систем компьютерного зрения, которые сталкиваются с трудностями при обработке данных из нескольких источников. Использование единого панорамного холста упрощает задачу интеграции визуальной информации, делая процесс обучения более эффективным. Это решение открывает возможности для создания более компактных и быстрых моделей, способных работать с пространственными данными в режиме реального времени.

Источник: arXiv

Похожие материалы

Hacker News · Оценка и бенчмарки Метод Лос-Аламосской лаборатории для выявления галлюцинаций в мультимодальных моделях Исследователи из Лос-Аламосской национальной лаборатории представили новый подход к диагностике ошибок в работе мультимодальных моделей, объединяющих зрение и язык. Основная проблема таких систем заключается в склонности к «галлюцинациям» — генерации описаний объектов или событий, которых нет на исходном изображении. Разработанный метод позволяет более точно отслеживать соответствие между визуальными данными и текстовым выводом модели. arXiv · Память и RAG SpatialClaw: новый интерфейс для пространственного мышления ИИ-агентов Исследователи из MIT и других ведущих университетов представили новый подход к решению проблемы пространственного мышления в ИИ-агентах. В работе SpatialClaw они предлагают пересмотреть интерфейс действий, через который агенты взаимодействуют с инструментами для восприятия пространства. Это особенно важно для задач, требующих понимания расположения объектов, их взаимосвязей и движений в 3D-пространстве. arXiv · Машинное обучение Новый метод обучения мультимодальных моделей через разделение восприятия и рассуждения Исследователи представили метод обучения мультимодальных моделей, который решает проблему «коротких путей» при использовании самодистилляции. Традиционный подход, при котором модель обучается на собственных результатах с опорой на эталонные данные, часто приводит к тому, что мультимодальные системы игнорируют визуальный контекст, полагаясь исключительно на текстовые подсказки. Новый алгоритм разделяет процессы восприятия изображения и логического рассуждения, что заставляет модель учитывать визуальные признаки как равноправный источник информации. Hacker News · Исследования и наука Next-Latent Prediction: новый подход к обучению компактных моделей мира Исследователи представили метод Next-Latent Prediction (NLP), который меняет подход к обучению трансформеров для моделирования динамических сред. В отличие от традиционных моделей, предсказывающих будущие токены в пространстве пикселей или дискретных состояний, этот метод фокусируется на прогнозировании скрытых представлений (латентных векторов). Такой подход позволяет модели сжимать информацию о визуальных и физических процессах, отсекая избыточные детали и концентрируясь на ключевых закономерностях среды. arXiv · Модели и релизы Новый метод обучения для мультимодального математического мышления Исследователи предложили новый подход к обучению мультимодальных моделей для решения математических задач. В статье на arXiv представлен метод MathVis-Fine, который учитывает сложные зависимости между текстом и изображениями в процессе решения задач. arXiv · Машинное обучение Новый метод LoopWM для улучшения world models Исследователи предложили новый подход к world models, который решает проблему баланса между точностью и вычислительными затратами. Looped World Models (LoopWM) используют итеративное уточнение скрытых состояний среды через архитектуру с общими параметрами. arXiv · Исследования и наука OmniAgent: новый подход к анализу длинных видео через активное восприятие Исследователи представили OmniAgent — архитектуру для анализа видео, которая отходит от традиционной модели «пассивного просмотра». В отличие от существующих систем, которые обрабатывают все кадры видеоряда равномерно, что приводит к линейному росту вычислительных затрат при увеличении длительности записи, новый метод имитирует активное восприятие. Система самостоятельно выбирает наиболее информативные фрагменты для анализа в зависимости от поставленного запроса. Mistral AI Blog · Память и RAG Как тонкая настройка улучшает работу визуально-языковых моделей на спутниковых снимках Исследователи из Mistral AI продемонстрировали, как тонкая настройка визуально-языковых моделей (VLMs) может значительно улучшить их работу с спутниковыми снимками. В новом исследовании показано, что адаптация моделей под специфику спутниковых данных позволяет точнее анализировать и интерпретировать изображения. Hacker News · Модели и релизы Новая модель для реального времени взаимодействия с изображениями и текстом Исследователи представили модель JoyAI-VL-Interaction, предназначенную для взаимодействия с изображениями и текстом в реальном времени. Она способна обрабатывать визуальные и текстовые данные одновременно, что открывает возможности для новых приложений в области компьютерного зрения и обработки естественного языка. NVIDIA Technical Blog · Память и RAG World-Action Models: от воображения к действию NVIDIA представила концепцию World-Action Models (WAM), новых моделей, которые сочетают в себе возможности визуально-языковых моделей (VLM) с возможностью выполнения действий. Эти модели начинают с предобученного VLM-основания и адаптируют его для выполнения конкретных задач, что делает их перспективными для создания ИИ-агентов, способных не только понимать, но и взаимодействовать с окружающим миром.

← Все материалы