Hugging Face - Blog · 08.04.2026 ·Мультимодальные эмбеддинги и ранжирование

Новые мультимодальные модели для эмбеддингов и ранжирования

Команда Sentence Transformers представила новые мультимодальные модели для создания эмбеддингов и ранжирования. Эти модели способны обрабатывать как текстовые, так и визуальные данные, что делает их полезными для задач, требующих интеграции разных типов информации.

Основные модели включают CLIP, BLIP и FILIP, которые были адаптированы для работы с Sentence Transformers. Это позволяет использовать их в задачах, где необходимо сравнивать или ранжировать мультимодальные данные, например, при поиске изображений по текстовому запросу или наоборот.

Для разработчиков ИИ-агентов эти модели могут быть полезны в задачах, связанных с обработкой и анализом мультимодальных данных. Например, они могут улучшить качество поиска информации, интегрируя текстовые и визуальные данные, или помочь в создании более точных рекомендательных систем.

Кроме того, новые модели поддерживают функцию reranking, что позволяет улучшить качество результатов за счет переоценки и переупорядочивания данных. Это особенно важно для задач, где точность и релевантность информации имеют критическое значение.

Подробнее о новых моделях и их возможностях можно узнать на официальном блоге Hugging Face.

Источник: Hugging Face - Blog

Похожие материалы

Hugging Face - Blog · Мультимодальные эмбеддинги для RAG Обучение мультимодальных моделей эмбеддингов и ранжирования Hugging Face выпустила гайд по обучению и тонкой настройке мультимодальных моделей эмбеддингов и ранжирования на базе Sentence Transformers. Это важно для разработчиков ИИ-агентов, так как мультимодальные эмбеддинги позволяют обрабатывать текстовые и визуальные данные в едином пространстве представлений, что критично для систем RAG (Retrieval-Augmented Generation). The Gradient · Архитектура моделей Mamba: новая архитектура для обработки длинных последовательностей Mamba — это новая архитектура нейросетевых моделей, основанная на State Space Models (SSMs). Она позиционируется как серьезная альтернатива Transformer-моделям, которые, несмотря на свою популярность, сталкиваются с проблемами эффективности при обработке длинных последовательностей. Hugging Face - Blog · Мультиязычные эмбеддинги для RAG Granite Embedding Multilingual R2: новые эмбеддинги для RAG IBM представила Granite Embedding Multilingual R2 — набор мультиязычных эмбеддингов с контекстом до 32K токенов. Это открытая модель под лицензией Apache 2.0, которая демонстрирует лучшее качество ретриваля среди моделей с менее чем 100 миллионами параметров. Hugging Face - Blog · Инференс и железо Синхронизация дельта-весов для запуска гигантских моделей Команда Hugging Face представила новую технологию Delta Weight Sync в TRL (Transformers Reinforcement Learning), которая позволяет эффективно синхронизировать веса моделей с триллионами параметров. Это особенно важно для локального запуска крупных моделей, где традиционные методы требуют значительных вычислительных ресурсов. Hugging Face - Blog · Обработка документов и OCR PaddleOCR 3.5: интеграция с Transformers для обработки документов Команда PaddlePaddle выпустила обновлённую версию PaddleOCR 3.5, которая теперь поддерживает интеграцию с библиотекой Transformers от Hugging Face. Это позволяет использовать модели OCR (оптическое распознавание символов) в рамках экосистемы Transformers, что упрощает их интеграцию в сложные ИИ-агенты и системы обработки документов. arXiv · Интерпретируемость ИИ-агентов LEAF-X: новый фреймворк для объяснения работы трансформеров в ASR Исследователи из MIT и других университетов представили LEAF-X — фреймворк для объяснения работы трансформерных моделей автоматического распознавания речи (ASR), таких как Whisper. Эти модели демонстрируют высокую точность, но их предсказания остаются «чёрными ящиками». Существующие методы объяснения ИИ (XAI) часто страдают от несоответствия между объяснениями и реальной работой модели, а также от отсутствия точной временной привязки. Google DeepMind News · Мультимодальные модели DeepMind представила Gemma 4 12B — универсальную мультимодальную модель DeepMind анонсировала новую версию своей мультимодальной модели Gemma 4 12B. Это первая модель в линейке Gemma, которая работает без отдельного энкодера для текста и изображений, что делает её более универсальной и эффективной. Hacker News · Инференс и векторизация Fastembed-rs: библиотека на Rust для генерации векторных эмбеддингов Команда Anush008 выпустила Fastembed-rs – библиотеку на Rust для генерации векторных эмбеддингов и переранжирования. Это открытый проект, который позволяет эффективно работать с текстовыми данными, создавая векторы для последующего использования в задачах поиска, классификации и других приложениях, связанных с обработкой естественного языка. arXiv · Трансформеры и обработка сложных данных Трансформеры для решения уравнений на сложных геометриях Исследователи из MIT и других ведущих университетов представили новый подход к использованию трансформеров для решения задач, связанных с дифференциальными уравнениями на сложных геометриях. Традиционные методы, основанные на нейронных операторах, ограничены фиксированным размером области, что затрудняет их применение в реальных сценариях, где размеры могут варьироваться. arXiv · RAG и визуальные агенты Как RAG помогает бороться с галлюцинациями в мультимодальных моделях Исследователи из MIT и других ведущих университетов предложили новый подход к снижению визуальных галлюцинаций в мультимодальных языковых моделях (MLLMs). Эти системы, способные обрабатывать как текстовые, так и визуальные данные, часто демонстрируют уверенность в своих ответах, даже когда визуальные данные слабые или неоднозначные. Это приводит к так называемым "галлюцинациям" — выводам, не соответствующим реальности.

← Все материалы