arXiv · 18.06.2026 ·Исследования и наука

Новый метод ELVA для улучшения универсального мультимодального поиска

Исследователи представили метод ELVA (Exploring Ranking-Driven Universal Multimodal Retrieval), направленный на повышение точности мультимодального поиска. Современные мультимодальные языковые модели часто сталкиваются с проблемой «зернистой слепоты» (grain blindness), при которой система игнорирует детализированную информацию в данных, фокусируясь лишь на общих признаках объекта. Это ограничение снижает эффективность поиска в задачах, требующих высокой точности сопоставления визуальных и текстовых элементов.

Авторы работы предложили архитектуру, основанную на ранжировании, которая позволяет лучше интегрировать мелкозернистые признаки в процесс обучения. В отличие от стандартных подходов, использующих контрастивное обучение, ELVA переключает фокус на ранжирование релевантных объектов. Это позволяет модели эффективнее различать тонкие различия между похожими изображениями и текстовыми запросами, что критически важно для сложных поисковых систем.

Эксперименты показали, что предложенный метод превосходит существующие аналоги в задачах универсального мультимодального поиска. Использование ранжирования как основного драйвера обучения помогает модели лучше улавливать контекстные связи, которые ранее оставались незамеченными. Разработка открывает новые возможности для создания более точных инструментов поиска по визуальному контенту, где требуется глубокое понимание структуры и деталей объектов.

Источник: arXiv

Похожие материалы

arXiv · Машинное обучение Новый метод обучения мультимодальных моделей через разделение восприятия и рассуждения Исследователи представили метод обучения мультимодальных моделей, который решает проблему «коротких путей» при использовании самодистилляции. Традиционный подход, при котором модель обучается на собственных результатах с опорой на эталонные данные, часто приводит к тому, что мультимодальные системы игнорируют визуальный контекст, полагаясь исключительно на текстовые подсказки. Новый алгоритм разделяет процессы восприятия изображения и логического рассуждения, что заставляет модель учитывать визуальные признаки как равноправный источник информации. arXiv · Память и RAG Как RAG помогает бороться с галлюцинациями в мультимодальных моделях Исследователи из MIT и других ведущих университетов предложили новый подход к снижению визуальных галлюцинаций в мультимодальных языковых моделях (MLLMs). Эти системы, способные обрабатывать как текстовые, так и визуальные данные, часто демонстрируют уверенность в своих ответах, даже когда визуальные данные слабые или неоднозначные. Это приводит к так называемым "галлюцинациям" — выводам, не соответствующим реальности. arXiv · Обучение и дообучение Новый метод для эффективного онлайн-обучения визуально-языковых агентов Исследователи предложили новый подход к онлайн-обучению визуально-языковых агентов (VLA) с использованием методов reinforcement learning (RL). В статье, опубликованной на arXiv, они описывают метод Hierarchical Advantage Weighting (HAW), который решает проблему редких и неинформативных сигналов обратной связи в процессе обучения. Hacker News · Оценка и бенчмарки Метод Лос-Аламосской лаборатории для выявления галлюцинаций в мультимодальных моделях Исследователи из Лос-Аламосской национальной лаборатории представили новый подход к диагностике ошибок в работе мультимодальных моделей, объединяющих зрение и язык. Основная проблема таких систем заключается в склонности к «галлюцинациям» — генерации описаний объектов или событий, которых нет на исходном изображении. Разработанный метод позволяет более точно отслеживать соответствие между визуальными данными и текстовым выводом модели. arXiv · Модели и релизы Исследование: VLA-модели плохо работают с неанглийскими языками Недавнее исследование, опубликованное на arXiv, раскрывает значительный пробел в способности Vision-Language-Action (VLA) моделей работать с языками, отличными от английского. Эти модели, которые демонстрируют многообещающие возможности в обучении универсальных политик роботов на основе мультимодальных данных, в основном обучаются и оцениваются на английских инструкциях. Это оставляет их способность понимать и выполнять команды на других языках практически неизученной. arXiv · Машинное обучение Новый подход к улучшению планирования в Vision-Language-Action моделях Исследователи предложили новый метод PearlVLA для улучшения планирования в Vision-Language-Action (VLA) моделях. Текущие VLA-модели сталкиваются с компромиссом между эффективностью генерации действий и явным планированием. Прямое декодирование действий из представлений визуально-языкового бэкенда обеспечивает низкую задержку, но явное планирование через текстовые цепочки или поиск действий увеличивает задержку и вычислительные затраты. arXiv · Машинное обучение Автоматическая оптимизация 3D-генерации с помощью VLM-судьи Исследователи представили новый метод улучшения качества генерации 3D-объектов по одному изображению. В основе подхода лежит использование мультимодальной языковой модели (VLM) в качестве автоматического судьи, который оценивает и ранжирует качество создаваемых мешей. Традиционные метрики, такие как CLIP или упрощенные геометрические прокси, часто оказываются недостаточно точными для оценки сложных 3D-структур, поэтому новая система предлагает более надежный способ фильтрации результатов. arXiv · Обучение и дообучение Новый метод обучения LLM через промежуточное RL Исследователи предложили новый подход к обучению языковых моделей (LLM) с использованием reinforcement learning (RL) на промежуточном этапе обучения. В статье, опубликованной на arXiv, авторы показывают, что традиционные методы RL с редкими наградами (sparse reward RL) сильно зависят от начальной подготовки модели. arXiv · Машинное обучение Новый метод дообучения моделей речи для специфичных задач Исследователи предложили новый подход к дообучению foundation-моделей речи, которые изначально обучаются на больших объёмах неразмеченных данных. Такие модели создают универсальные представления, полезные для разных задач, но при этом кодируют информацию о ключевых переменных речи распределённо. Это означает, что для конкретных задач требуется только часть этой информации. arXiv · Исследования и наука Новый метод для мультимодального разрешения кореферентности без предварительного обучения Исследователи предложили новый подход Plug-and-Adapt для мультимодального разрешения кореферентности (MCR), который не требует предварительного обучения на аннотированных данных. В статье на arXiv показано, что визуальная информация помогает устранять неоднозначности в тексте, что значительно повышает точность системы.

← Все материалы