Hacker News · 10.07.2026 ·Машинное обучение

Новая модель эмбеддингов Fusion-Embedding-1-2B с 16 млн параметров

Команда Eximius Labs представила Fusion-Embedding-1-2B — компактную модель для создания векторных представлений текста. Несмотря на крайне малый размер (всего 16 млн обучаемых параметров), модель демонстрирует производительность, сопоставимую с Gemini Embedding 2 от Google. Это достижение подчеркивает эффективность новых методов обучения и оптимизации архитектур для задач семантического поиска и RAG-систем.

Разработчики сфокусировались на оптимизации процесса обучения, чтобы добиться высокой точности при минимальных вычислительных затратах. Использование столь легковесной модели позволяет значительно ускорить генерацию эмбеддингов и снизить требования к инфраструктуре при обработке больших массивов данных. Модель уже доступна в открытом доступе на платформе Hugging Face, что позволяет интегрировать её в локальные пайплайны обработки данных без необходимости обращения к облачным API.

Эффективность Fusion-Embedding-1-2B открывает возможности для развертывания высокопроизводительных поисковых систем на устройствах с ограниченными ресурсами. Компактный размер модели упрощает её квантование и ускоряет инференс, сохраняя при этом качество семантического поиска, необходимое для современных приложений на базе LLM.

Ключевые факты

Модель содержит всего 16 миллионов обучаемых параметров.
Разработчик — Eximius Labs, веса модели опубликованы на Hugging Face.
Производительность сопоставима с Gemini Embedding 2 от Google.
Модель предназначена для задач семантического поиска и векторного представления данных.
Низкие требования к вычислительным мощностям позволяют использовать решение в локальных средах.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

MarkTechPost · Машинное обучение Liquid AI представила компактные модели для многоязычного поиска Компания Liquid AI выпустила новые модели LFM2.5-Embedding-350M и LFM2.5-ColBERT-350M, предназначенные для эффективного семантического поиска. Решения базируются на архитектуре с 350 миллионами параметров и оптимизированы для работы на периферийных устройствах, что позволяет использовать их локально без обращения к облачным серверам. Hacker News · Инференс и железо Liquid AI представила компактную модель LFM-2.5 на 230 млн параметров Компания Liquid AI выпустила новую языковую модель LFM-2.5 с 230 миллионами параметров, оптимизированную для работы на устройствах с ограниченными ресурсами. Архитектура модели позволяет эффективно функционировать на смартфонах, одноплатных компьютерах типа Raspberry Pi и робототехнических системах, обеспечивая высокую скорость инференса при минимальном потреблении оперативной памяти и вычислительной мощности процессора. Hugging Face - Blog · Память и RAG Granite Embedding Multilingual R2: новые эмбеддинги для RAG IBM представила Granite Embedding Multilingual R2 — набор мультиязычных эмбеддингов с контекстом до 32K токенов. Это открытая модель под лицензией Apache 2.0, которая демонстрирует лучшее качество ретриваля среди моделей с менее чем 100 миллионами параметров. The Decoder · Модели и релизы VibeThinker-3B: компактная модель с навыками рассуждения уровня гигантов Разработчики из Sina Weibo представили VibeThinker-3B — языковую модель с 3 миллиардами параметров, демонстрирующую производительность в математике и программировании на уровне моделей, превосходящих её по размеру в сотни раз. Исследователи выдвинули гипотезу, что логические способности эффективно сжимаются в малые архитектуры, тогда как хранение обширных фактологических знаний требует значительного масштабирования параметров. Hacker News · Данные и инжиниринг Manticore Search ускорила генерацию эмбеддингов в 14 раз через оптимизацию ONNX Команда Manticore Search представила результаты оптимизации своего поискового движка, добившись 14-кратного ускорения процесса генерации векторных эмбеддингов. Переработка пути обработки данных через ONNX Runtime позволила значительно снизить накладные расходы при выполнении инференса моделей внутри системы, что критически важно для высоконагруженных RAG-систем и векторного поиска в реальном времени. MarkTechPost · Инференс и железо Liquid AI выпустила компактную модель LFM2.5-230M для локального запуска Компания Liquid AI представила LFM2.5-230M — свою самую компактную нейросеть с 230 млн параметров. Модель оптимизирована для работы на периферийных устройствах, демонстрируя высокую скорость генерации текста. Она поддерживает популярные фреймворки инференса, такие как llama.cpp и vLLM, и показывает превосходство над более крупными аналогами в задачах извлечения данных и выполнения инструкций. Hacker News · Инференс и железо Выбор компактных локальных LLM до 2 млрд параметров Пользователи сообщества Hacker News обсуждают наиболее эффективные языковые модели с количеством параметров менее 2 млрд, способные работать при потреблении оперативной памяти менее 3 ГБ. В фокусе внимания оказались модели, оптимизированные для запуска на устройствах с ограниченными ресурсами, включая смартфоны и бюджетные ноутбуки, без существенной потери качества генерации текста и скорости отклика. Hacker News · Инференс и железо Ternlight: компактная модель эмбеддингов для запуска в браузере через WASM Ternlight представляет собой легковесную модель для генерации векторных представлений текста, оптимизированную для работы непосредственно в браузере. Благодаря размеру всего в 7 МБ и использованию WebAssembly (WASM), модель позволяет выполнять семантический поиск и классификацию данных на стороне клиента без необходимости обращения к внешним API или развертывания тяжелой серверной инфраструктуры. Hacker News · Исследования и наука Новый метод Dispersion Loss для борьбы с конденсацией эмбеддингов в малых LLM Исследователи предложили метод Dispersion Loss, решающий проблему «конденсации» эмбеддингов в малых языковых моделях. При обучении компактных моделей векторы слов часто схлопываются в узкие кластеры, что снижает качество генерации. Новый подход принудительно разносит эмбеддинги в пространстве, повышая выразительность модели без увеличения количества параметров, что критически важно для эффективного обучения легковесных архитектур. Google DeepMind News · Модели и релизы DeepMind представила Gemma 4 12B — универсальную мультимодальную модель DeepMind анонсировала новую версию своей мультимодальной модели Gemma 4 12B. Это первая модель в линейке Gemma, которая работает без отдельного энкодера для текста и изображений, что делает её более универсальной и эффективной.

← Все материалы