arXiv · 18.06.2026 ·Исследования и наука

UNIEGO: новый подход к обучению представлений в эгоцентрических видео

Исследователи представили метод UNIEGO, направленный на решение проблемы ограниченного обзора в эгоцентрических видео, снятых с носимых камер. Основная сложность таких данных заключается в узком угле обзора, единственной модальности и зависимости от конкретной модели, что не позволяет полноценно интерпретировать человеческие действия. Авторы работы предлагают использовать прокси-модели в качестве посредников для объединения знаний из различных источников.

Метод позволяет интегрировать информацию из разных точек зрения, мультимодальных данных и различных фундаментальных моделей в единое представление. Такой подход обеспечивает более глубокое понимание контекста действий, сохраняя при этом возможность развертывания системы на устройствах с ограниченными вычислительными ресурсами. Использование прокси-моделей выступает связующим звеном, которое агрегирует разрозненные признаки в компактный и информативный вектор.

Результаты исследования показывают, что предложенная архитектура значительно повышает точность распознавания действий в эгоцентрических сценариях по сравнению с традиционными методами обучения. Разработка открывает новые возможности для создания систем компьютерного зрения, способных эффективно работать в условиях динамичной среды и ограниченного обзора, характерных для носимых устройств и систем дополненной реальности.

Источник: arXiv

Похожие материалы

arXiv · Исследования и наука OmniAgent: новый подход к анализу длинных видео через активное восприятие Исследователи представили OmniAgent — архитектуру для анализа видео, которая отходит от традиционной модели «пассивного просмотра». В отличие от существующих систем, которые обрабатывают все кадры видеоряда равномерно, что приводит к линейному росту вычислительных затрат при увеличении длительности записи, новый метод имитирует активное восприятие. Система самостоятельно выбирает наиболее информативные фрагменты для анализа в зависимости от поставленного запроса. arXiv · Машинное обучение Новый метод обучения мультимодальных моделей через разделение восприятия и рассуждения Исследователи представили метод обучения мультимодальных моделей, который решает проблему «коротких путей» при использовании самодистилляции. Традиционный подход, при котором модель обучается на собственных результатах с опорой на эталонные данные, часто приводит к тому, что мультимодальные системы игнорируют визуальный контекст, полагаясь исключительно на текстовые подсказки. Новый алгоритм разделяет процессы восприятия изображения и логического рассуждения, что заставляет модель учитывать визуальные признаки как равноправный источник информации. Hacker News · Оценка и бенчмарки Метод Лос-Аламосской лаборатории для выявления галлюцинаций в мультимодальных моделях Исследователи из Лос-Аламосской национальной лаборатории представили новый подход к диагностике ошибок в работе мультимодальных моделей, объединяющих зрение и язык. Основная проблема таких систем заключается в склонности к «галлюцинациям» — генерации описаний объектов или событий, которых нет на исходном изображении. Разработанный метод позволяет более точно отслеживать соответствие между визуальными данными и текстовым выводом модели. arXiv · Исследования и наука Новый метод ELVA для улучшения универсального мультимодального поиска Исследователи представили метод ELVA (Exploring Ranking-Driven Universal Multimodal Retrieval), направленный на повышение точности мультимодального поиска. Современные мультимодальные языковые модели часто сталкиваются с проблемой «зернистой слепоты» (grain blindness), при которой система игнорирует детализированную информацию в данных, фокусируясь лишь на общих признаках объекта. Это ограничение снижает эффективность поиска в задачах, требующих высокой точности сопоставления визуальных и текстовых элементов. arXiv · Машинное обучение OneCanvas: новый подход к 3D-восприятию в мультимодальных моделях Исследователи представили метод OneCanvas, упрощающий процесс понимания трехмерных сцен для мультимодальных моделей (VLM). Традиционные подходы к этой задаче часто требуют использования специализированных геометрических энкодеров или значительных вычислительных ресурсов для обучения пространственному мышлению. Новый метод предлагает альтернативный путь, объединяя признаки из различных ракурсов изображения на едином панорамном полотне с равнопромежуточной проекцией. arXiv · Машинное обучение Использование неявных сигналов пользователя для дообучения LLM Исследователи представили новый подход к дообучению больших языковых моделей, основанный на анализе неявных действий пользователей. Традиционные методы настройки моделей опираются на явную обратную связь, такую как оценки «нравится» или «не нравится», что требует значительных затрат на сбор данных и встречается крайне редко. Новый метод предлагает использовать для обучения данные о поведении пользователя в интерфейсе, включая движения мыши, траекторию взгляда и время взаимодействия с контентом. arXiv · Память и RAG Как RAG помогает бороться с галлюцинациями в мультимодальных моделях Исследователи из MIT и других ведущих университетов предложили новый подход к снижению визуальных галлюцинаций в мультимодальных языковых моделях (MLLMs). Эти системы, способные обрабатывать как текстовые, так и визуальные данные, часто демонстрируют уверенность в своих ответах, даже когда визуальные данные слабые или неоднозначные. Это приводит к так называемым "галлюцинациям" — выводам, не соответствующим реальности. arXiv · Машинное обучение Улучшение игрового ИИ с помощью глубокого обучения с подкреплением Исследователи представили новый подход к созданию игровых персонажей, основанный на методах глубокого обучения с подкреплением (Deep Reinforcement Learning). Традиционные системы, опирающиеся на жестко прописанные сценарии и правила, часто не справляются с задачей создания естественного и непредсказуемого поведения NPC. Это ограничивает глубину погружения игроков и делает действия виртуальных агентов однообразными. arXiv · Машинное обучение Новый подход к устранению предвзятости в моделях машинного обучения Исследователи представили методологию борьбы с предвзятостью в алгоритмах, которая учитывает пересечение нескольких защищаемых атрибутов, таких как раса и гендер. Традиционные методы часто не справляются с ситуациями, когда дискриминация проявляется только при сочетании нескольких факторов, что приводит к снижению точности моделей для определенных групп населения. Основная проблема заключается в нехватке репрезентативных данных для таких подгрупп и отсутствии четких математических метрик для оценки справедливости. arXiv · Инфраструктура для агентов FoMoE: новый подход к обучению MoE-моделей через федерацию экспертов Исследователи представили архитектуру FoMoE (Federation of Mixture-of-Experts), которая решает проблему жесткой привязки параметров модели к вычислительной инфраструктуре. Традиционные методы обучения крупных языковых моделей требуют использования массивов тесно связанных ускорителей, что ограничивает масштабируемость. Новый подход позволяет распределять экспертов в составе MoE-архитектуры между независимыми вычислительными узлами, снимая барьер «полной репликации» весов модели на каждом устройстве.

← Все материалы