arXiv · 16.06.2026 ·Исследования и наука

Новый метод для мультимодального разрешения кореферентности без предварительного обучения

Исследователи предложили новый подход Plug-and-Adapt для мультимодального разрешения кореферентности (MCR), который не требует предварительного обучения на аннотированных данных. В статье на arXiv показано, что визуальная информация помогает устранять неоднозначности в тексте, что значительно повышает точность системы.

Традиционные методы MCR нуждаются в обучении на данных конкретного набора, что ограничивает их применимость и вызывает вопросы о обобщаемости. Новый метод использует предобученную модель выравнивания, что позволяет применять его без дополнительного обучения.

Авторы сравнили Plug-and-Adapt с существующими подходами и продемонстрировали его преимущества в задачах, где требуется связь между текстом и визуальными данными. Исследование может стать основой для новых решений в обработке мультимодальных данных.

Работа опубликована на arXiv и доступна для дальнейшего изучения.

Источник: arXiv

Похожие материалы

arXiv · Модели и релизы Новый метод обучения для мультимодального математического мышления Исследователи предложили новый подход к обучению мультимодальных моделей для решения математических задач. В статье на arXiv представлен метод MathVis-Fine, который учитывает сложные зависимости между текстом и изображениями в процессе решения задач. arXiv · Память и RAG CORA: метод для устранения разрыва между мышлением и ответом в многомодальных ИИ-агентах Исследователи из MIT и других ведущих университетов представили метод CORA (Consistency-Oriented Reasoning Alignment), который решает проблему несоответствия между процессом рассуждений и конечным ответом в многомодальных системах с подкрепляющим обучением и проверяемыми вознаграждениями (RLVR). arXiv · Память и RAG Как RAG помогает бороться с галлюцинациями в мультимодальных моделях Исследователи из MIT и других ведущих университетов предложили новый подход к снижению визуальных галлюцинаций в мультимодальных языковых моделях (MLLMs). Эти системы, способные обрабатывать как текстовые, так и визуальные данные, часто демонстрируют уверенность в своих ответах, даже когда визуальные данные слабые или неоднозначные. Это приводит к так называемым "галлюцинациям" — выводам, не соответствующим реальности. arXiv · Машинное обучение Новый метод дообучения моделей речи для специфичных задач Исследователи предложили новый подход к дообучению foundation-моделей речи, которые изначально обучаются на больших объёмах неразмеченных данных. Такие модели создают универсальные представления, полезные для разных задач, но при этом кодируют информацию о ключевых переменных речи распределённо. Это означает, что для конкретных задач требуется только часть этой информации. arXiv · Машинное обучение Новый подход к распознаванию таблиц в мультизадачном режиме Исследователи предложили новый метод для распознавания таблиц, который объединяет три задачи: предсказание структуры таблицы, локализацию ячеек и распознавание содержимого ячеек. В отличие от традиционных подходов, которые используют авторегрессивные декодеры, новый метод применяет порядково-независимые представления на уровне ячеек. Это позволяет избежать проблем, связанных с авторегрессивным генерацией, где порядок обработки ячеек может влиять на качество распознавания. arXiv · Память и RAG Новый фреймворк для работы с отсутствующими модальностями в ИИ-агентах Исследователи представили новый подход к решению проблемы отсутствующих модальностей в многомодальных системах. В статье, опубликованной на arXiv, предлагается фреймворк Unsupervised Learning for Missing Modalities in Multi-Modal Learning (UL4M4), который позволяет заполнять отсутствующие данные перед выполнением предсказаний. Это особенно важно для ИИ-агентов, которые часто работают с неполными или неструктурированными данными. arXiv · Исследования и наука Новый метод вычисления сходства траекторий судов на основе контрастного обучения Учёные представили новый фреймворк MoCo-AIS для вычисления сходства траекторий судов. Он основан на контрастном обучении и предназначен для анализа мобильных паттернов, что важно для извлечения маршрутных шаблонов, прогнозирования мобильности и обнаружения аномалий. arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. arXiv · Машинное обучение Новый метод улучшает сегментацию медицинских изображений без меток Исследователи предложили новый подход к сегментации медицинских изображений в условиях нехватки аннотированных данных. В статье на arXiv представлен метод, который использует цепочки рассуждений (Chain of Thought, CoT) для улучшения семисупервизорного обучения. arXiv · Память и RAG Как RAG помогает ИИ-агентам решать сложные задачи через аналогии Исследователи из MIT и Google Research предложили новый подход к улучшению способности языковых моделей решать сложные задачи через аналогии. В работе, опубликованной на arXiv, они демонстрируют, как Retrieval-Augmented Generation (RAG) может быть адаптирован для более эффективного решения задач, требующих нестандартного мышления.

← Все материалы