arXiv · 10.07.2026 ·Исследования и наука

Геометрические foundation-модели научились определять перекрытие изображений

Исследователи обнаружили, что геометрические foundation-модели (VGGT) способны определять ко-видимость — наличие общих поверхностей на разных изображениях — без специального обучения. Эта способность является эмерджентным свойством внутренних представлений модели, что позволяет эффективнее решать задачи 3D-реконструкции и робототехнической локализации даже в условиях минимального визуального перекрытия между кадрами.

Традиционные методы 3D-реконструкции часто сталкиваются с трудностями при поиске соответствий между изображениями, снятыми с разных ракурсов при слабом перекрытии. Использование предобученных моделей, которые уже «понимают» геометрию сцены на уровне своих скрытых слоев, позволяет значительно упростить пайплайны обработки данных. Внутренние представления VGGT демонстрируют иерархическую структуру, которая естественным образом кодирует пространственные связи между объектами.

Это открытие указывает на перспективность использования геометрических foundation-моделей в качестве универсальных энкодеров для задач компьютерного зрения, требующих пространственного понимания. Вместо создания узкоспециализированных алгоритмов для оценки перекрытия, разработчики могут опираться на уже существующие признаки, извлеченные из моделей, обученных на больших массивах 3D-данных.

Ключевые факты

Модель VGGT демонстрирует способность определять ко-видимость как эмерджентное свойство без прямой супервизии.
Иерархическая структура внутренних представлений модели позволяет эффективно выявлять общие поверхности даже при минимальном визуальном пересечении.
Результаты исследования применимы для улучшения алгоритмов 3D-реконструкции и систем навигации автономных роботов.
Метод позволяет сократить вычислительные затраты на предварительный анализ пар изображений в сложных сценах.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение TGO: новый подход к анализу геометрии представлений в Vision Transformers Исследователи представили Transformer Geometry Observatory (TGO) — систематический фреймворк для изучения внутренней структуры и размерности представлений в моделях Vision Transformers (ViT). Несмотря на широкое распространение архитектур на базе трансформеров в задачах компьютерного зрения, принципы формирования их скрытых пространств и геометрические свойства признаков до сих пор оставались недостаточно изученными. arXiv · Исследования и наука G3VLA: новый подход к пространственному восприятию в робототехнике Исследователи представили архитектуру G3VLA, которая внедряет геометрические индуктивные смещения в модели Vision-Language-Action (VLA). В отличие от стандартных моделей, привязанных к 2D-координатам изображений, G3VLA использует калиброванную геометрию камер робота. Это позволяет системе эффективно объединять данные с нескольких камер, обеспечивая точное понимание 3D-пространства, необходимое для выполнения сложных манипуляционных задач в реальных условиях. arXiv · Исследования и наука Аудит гиперболических моделей: как геометрия влияет на работу Vision-Language систем Исследователи проанализировали, действительно ли гиперболические модели Vision-Language используют преимущества своей неевклидовой геометрии для обработки данных. Авторы установили, что одного параметра кривизны недостаточно для оценки эффективности архитектуры. Вместо этого они предложили диагностический метод, основанный на безразмерной рабочей точке, и протестировали его на моделях MERU, HyCoCLIP и PHyCLIP, выявив реальный вклад геометрических механизмов в обучение. arXiv · Машинное обучение Сжатие 3D-данных с помощью нейронных представлений на основе гауссианов Исследователи представили новый метод сжатия структурированных и неструктурированных объемных данных, использующий обучаемые 3D-гауссианы. Технология позволяет эффективно кодировать геометрию объектов, устраняя необходимость в хранении промежуточных сеток (meshes). Это значительно снижает требования к памяти при сохранении возможности прямого запроса данных, что открывает новые перспективы для работы с тяжелыми 3D-моделями и визуализацией в реальном времени. Hacker News · Исследования и наука Нейронное сжатие изображений с использованием Gemini 3 Исследователи представили метод нейронного сжатия изображений, использующий возможности мультимодальной модели Gemini 3 для повышения эффективности кодирования визуальных данных. Новый подход позволяет достичь высокого качества восстановления при значительно меньшем объеме файлов по сравнению с традиционными алгоритмами, такими как JPEG или WebP, за счет глубокого понимания семантического содержания изображения и контекстуальной реконструкции деталей. arXiv · Машинное обучение Оптимизация RGB-T детектирования объектов через разреженную кросс-модальную фузию Исследователи представили метод эффективного обнаружения объектов, объединяющий данные видимого спектра и тепловизионных камер. В отличие от стандартных подходов, требующих тяжелых архитектур и обработки всего изображения, новый алгоритм использует разреженную кросс-модальную фузию. Это позволяет сосредоточить вычислительные ресурсы на информативных областях, игнорируя однородные фоновые зоны, что значительно снижает нагрузку на систему без потери точности. arXiv · Машинное обучение Автоматическая оптимизация 3D-генерации с помощью VLM-судьи Исследователи представили новый метод улучшения качества генерации 3D-объектов по одному изображению. В основе подхода лежит использование мультимодальной языковой модели (VLM) в качестве автоматического судьи, который оценивает и ранжирует качество создаваемых мешей. Традиционные метрики, такие как CLIP или упрощенные геометрические прокси, часто оказываются недостаточно точными для оценки сложных 3D-структур, поэтому новая система предлагает более надежный способ фильтрации результатов. arXiv · Машинное обучение Повышение стабильности сегментации изображений в контексте через Concept Guidance Исследователи представили метод Concept Guidance для улучшения сегментации изображений в контексте (ICS). Подход позволяет моделям стабильно выделять целевые области на основе нескольких примеров без дообучения параметров. Новая архитектура минимизирует чувствительность нейросетей к вариациям входных данных, обеспечивая высокую точность сегментации даже при изменении условий запроса, что критически важно для надежности компьютерного зрения. arXiv · Исследования и наука Новый фреймворк для геопозиционирования объектов по кросс-видовым изображениям Исследователи представили единый одностадийный фреймворк для геопозиционирования объектов, который преодолевает ограничения традиционного 2D-сопоставления изображений. Система эффективно связывает данные с наземных камер или дронов с геопривязанными спутниковыми снимками, учитывая геометрические параметры сцены. Это решение позволяет точнее определять координаты объектов в условиях нехватки размеченных данных и различий в углах обзора камер. Lobsters · Машинное обучение Геолокация по фото с помощью глубокого обучения Разработчик реализовал систему для определения места съемки фотографий на основе визуальных признаков, используя методы глубокого обучения. Модель анализирует характерные особенности ландшафта, растительности и архитектуры, сопоставляя их с глобальными географическими данными. Проект демонстрирует возможности компьютерного зрения в задачах пространственной привязки изображений, достигая высокой точности предсказания координат без использования метаданных EXIF.

← Все материалы