arXiv · 30.07.2026 ·Исследования и наука

ReToken: новый метод оптимизации визуального поиска в мультимодальных моделях

Исследователи представили ReToken — обучаемый эмбеддинг, который повышает эффективность работы Vision-Language моделей при обработке длинного визуального контекста. Метод позволяет модели выбирать только релевантные визуальные токены из кэша, решая проблему деградации производительности при наличии большого количества отвлекающих факторов и снижая вычислительную нагрузку на GPU при работе с объемными данными.

Традиционные подходы к обработке визуальной информации часто сталкиваются с ограничениями памяти при попытке проанализировать все токены изображения одновременно. ReToken выступает в роли целевого объекта для поиска, который динамически фильтрует визуальный контент, оставляя лишь наиболее значимые фрагменты. Это позволяет моделям сохранять высокую точность распознавания и поиска даже в условиях перегруженного визуального контекста.

Технология ориентирована на оптимизацию архитектур, работающих с визуальными базами данных и сложными сценами. Использование разреженного набора токенов вместо полной обработки всего кэша KV (Key-Value) значительно сокращает требования к видеопамяти, что делает возможным внедрение продвинутых мультимодальных систем в сценарии с ограниченными аппаратными ресурсами.

Ключевые факты

ReToken использует один обучаемый эмбеддинг для селективного извлечения визуальных токенов.
Метод направлен на решение проблемы деградации качества при росте числа визуальных дистракторов.
Технология позволяет эффективно работать с предварительно заполненным визуальным KV-кэшем.
Подход снижает вычислительные затраты, исключая необходимость обработки всех токенов изображения одновременно.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Оптимизация визуальных токенов в VLM через энтропийный анализ Исследователи представили метод Entropy-Aware Dense Visual Token Pruning, направленный на ускорение работы мультимодальных моделей (VLM). Технология решает проблему избыточности визуальных данных, отсекая нерелевантные фрагменты изображений. Новый подход позволяет сохранять критически важные детали при выполнении сложных запросов, устраняя влияние текстового шума на процесс кросс-модального сопоставления и повышая общую эффективность инференса моделей. arXiv · Машинное обучение Метод Visual Skipping для ускорения инференса мультимодальных моделей Исследователи представили метод Visual Skipping, позволяющий оптимизировать работу мультимодальных LLM при обработке длинных визуальных последовательностей. В отличие от традиционных подходов, удаляющих целые токены или слои, новый алгоритм выборочно пропускает вычисления на уровне отдельных операторов. Это позволяет сохранять важные визуальные детали, значительно снижая вычислительную нагрузку и ускоряя генерацию ответов без существенной потери качества. arXiv · Исследования и наука Безопасная авторегрессионная генерация изображений через итеративные кодбуки Исследователи представили метод повышения безопасности и качества авторегрессионных моделей генерации изображений. В отличие от диффузионных моделей, работающих в непрерывных пространствах, новый подход использует итеративно улучшаемые кодбуки для дискретизации визуальных токенов. Это позволяет точнее контролировать процесс генерации, минимизируя артефакты и повышая соответствие текстовым запросам за счет более эффективной архитектуры квантования визуальных паттернов. arXiv · Исследования и наука Метод Token-Sparse для улучшения медицинской диагностики в мультимодальных моделях Исследователи представили метод обучения мультимодальных моделей (VLM), оптимизированный для анализа медицинских изображений. Новый подход использует двухпотоковое обучение с подкреплением (RL) для динамической фильтрации визуальных токенов. Это позволяет модели игнорировать нерелевантные области снимка и фокусироваться на критически важных признаках, что значительно повышает точность клинических решений в условиях дефицита визуальных данных. Hacker News · Инференс и железо Оптимизация инференса для длинного контекста на потребительских GPU Исследователи представили метод эффективной обработки контекста до миллиона токенов на обычном потребительском оборудовании. Технология использует разреженность (sparsity) вычислений в механизме внимания, что позволяет радикально снизить требования к видеопамяти и вычислительным мощностям. Это решение делает работу с огромными массивами данных доступной вне специализированных серверных кластеров, открывая новые возможности для локального запуска сложных моделей. arXiv · Инференс и железо Windowed-MTP: оптимизация инференса для моделей с длинным контекстом Исследователи представили метод Windowed-MTP, решающий проблему избыточных вычислений при использовании многотокенового предсказания (MTP) в моделях с контекстом в миллион токенов. Традиционные MTP-головки при генерации текста вынуждены обрабатывать весь KV-кэш, что создает критическую нагрузку на память и вычислительные ресурсы. Новый подход ограничивает область внимания MTP-головки, сохраняя скорость генерации без потери качества предсказаний. arXiv · Машинное обучение Метод Relevance-Based Embeddings для оптимизации поиска в больших системах Исследователи представили метод Relevance-Based Embeddings, позволяющий ускорить поиск релевантных объектов в масштабных системах. Технология оптимизирует процесс извлечения кандидатов, используя легковесные векторные представления, которые обучаются на основе предсказаний тяжелых моделей ранжирования. Это позволяет сократить вычислительные затраты при сохранении высокой точности поиска, избегая необходимости полного перебора всех элементов в базе данных для каждого запроса. arXiv · Машинное обучение Адаптивный выбор токенов для оптимизации обучения LLM с подкреплением Исследователи представили метод Relative Surprisal Index (RSI) для оптимизации обучения LLM с помощью подкрепления с проверяемыми наградами (RLVR). Новый подход позволяет динамически определять, какие токены в процессе генерации рассуждений наиболее важны для достижения правильного результата. Это снижает вычислительные затраты и повышает эффективность обучения моделей при решении сложных логических задач. arXiv · Машинное обучение Posterior Refinement: новый метод ускорения генерации текста в неавторегрессионных моделях Исследователи представили метод Posterior Refinement, решающий проблему низкой эффективности неавторегрессионных языковых моделей. Новый подход использует Any-Order Flow Maps для итеративного уточнения текста, позволяя моделям критиковать и перегенерировать произвольные фрагменты токенов одновременно. Это устраняет ошибки факторизации, характерные для маскированных диффузионных моделей, и значительно повышает качество генерации при сохранении высокой скорости работы. arXiv · Машинное обучение ALER-TI: новый метод восстановления пропущенных данных во временных рядах Исследователи представили метод ALER-TI (Aligned Latent Embedding Retrieval), решающий проблему восстановления пропущенных значений во временных рядах. В отличие от стандартных архитектур, фокусирующихся только на локальном контексте, новый подход использует поиск по скрытым представлениям для извлечения глобальных паттернов, что значительно повышает точность реконструкции данных в условиях нестационарной динамики и слабых временных корреляций.

← Все материалы