MarkTechPost · 17.07.2026 ·Модели и релизы

NVIDIA представила семейство моделей Nemotron-3 Embed для векторных представлений

NVIDIA выпустила коллекцию моделей Nemotron-3 Embed, предназначенную для создания векторных представлений (embeddings). Флагманская версия с 8 миллиардами параметров заняла первое место в бенчмарке MTEB (RTEB), показав результат 78,46 по метрике NDCG@10. Релиз включает три открытых чекпоинта, оптимизированных для различных сценариев использования, включая высокопроизводительные вычисления на архитектуре Blackwell.

Коллекция ориентирована на задачи семантического поиска и RAG-системы. Модели меньшего размера (1B) были получены с помощью методов нейросетевого поиска архитектуры (NAS) и дистилляции знаний от 8-миллиардной модели-учителя. Использование формата NVFP4 позволяет достичь двукратного прироста пропускной способности на аппаратном обеспечении Blackwell при сохранении более 99% точности поиска относительно формата BF16.

Разработка направлена на повышение эффективности обработки больших объемов данных в корпоративных ИИ-системах. Сочетание высокой точности 8B-модели и компактности 1B-версий позволяет гибко масштабировать инфраструктуру поиска в зависимости от требований к задержке и вычислительным ресурсам.

Ключевые факты

Флагманская модель Nemotron-3-Embed-8B-BF16 возглавила рейтинг RTEB с показателем 78,46 NDCG@10.
В линейку вошли три чекпоинта: 8B-BF16, 1B-BF16 и 1B-NVFP4.
Модели 1B созданы с помощью комбинации NAS-прунинга и дистилляции (COS+MSE).
Формат NVFP4 обеспечивает до 2x прироста пропускной способности на архитектуре Blackwell.
Модели 1B-NVFP4 сохраняют более 99% точности поиска по сравнению с версиями в формате BF16.

Источник: MarkTechPost

Обсудить с ИИ

Похожие материалы

Hugging Face - Blog · Машинное обучение NVIDIA Nemotron-3 возглавила рейтинг Retrieval-Augmented Generation Модель NVIDIA Nemotron-3 8B заняла первое место в бенчмарке Retrieval-Augmented Generation (RTEB), продемонстрировав лучшие показатели в задачах семантического поиска и извлечения информации. Новая архитектура оптимизирована для агентных систем, требующих высокой точности при работе с большими массивами неструктурированных данных, что делает её эффективным инструментом для улучшения качества ответов в RAG-системах. NVIDIA Technical Blog · Инференс и железо Оптимизация NVIDIA Nemotron-3 с использованием формата NVFP4 NVIDIA представила метод оптимизации больших языковых моделей с использованием формата NVFP4, реализованный через NVIDIA Model Optimizer. Этот подход позволяет значительно сократить объем весов модели Nemotron-3 8B, сохраняя при этом высокую точность инференса. Технология направлена на повышение эффективности работы моделей с длинным контекстом, где передача весов становится критическим узким местом для производительности системы. MarkTechPost · Модели и релизы NVIDIA представила модель Nemotron-Labs-3-Puzzle-75B с повышенной пропускной способностью NVIDIA выпустила Nemotron-Labs-3-Puzzle-75B-A9B — оптимизированную версию модели Nemotron-3-Super, использующую гибридную архитектуру MoE (Mixture of Experts). Благодаря методу итеративного сжатия Puzzle, разработчикам удалось увеличить пропускную способность сервера в 2,03 раза при сохранении прежней скорости генерации для пользователя, значительно снизив при этом требования к количеству активных параметров. Hacker News · Машинное обучение Новая модель эмбеддингов Fusion-Embedding-1-2B с 16 млн параметров Команда Eximius Labs представила Fusion-Embedding-1-2B — компактную модель для создания векторных представлений текста. Несмотря на крайне малый размер (всего 16 млн обучаемых параметров), модель демонстрирует производительность, сопоставимую с Gemini Embedding 2 от Google. Это достижение подчеркивает эффективность новых методов обучения и оптимизации архитектур для задач семантического поиска и RAG-систем. MarkTechPost · Инференс и железо NVIDIA представила Nemotron-Labs-TwoTower: диффузионную модель для ускорения генерации текста NVIDIA выпустила Nemotron-Labs-TwoTower — диффузионную языковую модель, призванную преодолеть ограничения традиционных авторегрессионных систем. В отличие от последовательной генерации токенов, новая архитектура использует диффузионный подход, что позволяет значительно увеличить пропускную способность при создании текста. Модель базируется на предобученном «хребте» Nemotron-3-Nano-30B-A3B и распространяется с открытыми весами для исследовательских и прикладных целей. Hacker News · Машинное обучение NVFP4: новый подход к обучению моделей с 4-битной точностью Исследователи представили метод NVFP4 (NVIDIA Floating Point 4), оптимизирующий обучение нейросетей с использованием 4-битной точности. Технология решает проблему нестабильности градиентов при экстремальном квантовании, позволяя значительно снизить требования к памяти и ускорить вычисления без существенной потери качества моделей. Это открывает возможности для более эффективного обучения крупных архитектур на ограниченном аппаратном обеспечении. Hacker News · Инференс и железо Оптимизация инференса моделей через формат NVFP4 Компания Cohere представила обновленную версию своей модели North Mini Code, оптимизированную для работы с использованием нового формата данных NVFP4. Технология позволяет значительно повысить производительность инференса при сохранении исходного качества генерации кода. Использование этого формата обеспечивает ускорение вычислений в 1,65 раза по сравнению со стандартным форматом FP8, при этом потребление видеопамяти снижается на 40%. AI | VentureBeat · Разработка и инструменты NousCoder-14B: открытая модель для кодинга от Nous Research Nous Research, стартап в области открытого ИИ, поддержанный венчурной фирмой Paradigm, представил новую модель для программирования NousCoder-14B. Модель была обучена всего за четыре дня на 48 графических процессорах Nvidia B200 и демонстрирует конкурентоспособные результаты с более крупными проприетарными системами. Hacker News · ИИ в бизнесе Nvidia представила кейсы внедрения моделей Nemotron в японском бизнесе Nvidia продемонстрировала результаты адаптации своих языковых моделей семейства Nemotron для японского рынка. Местные компании используют эти решения для автоматизации корпоративных процессов, включая создание специализированных чат-ботов и систем анализа данных. Проекты подчеркивают эффективность использования дообученных моделей для решения узкоспециализированных задач в условиях высокой сложности японского языка и специфических бизнес-требований. Together.ai · Инференс и железо Together AI запустила NVIDIA Nemotron 3 Super для разработчиков Together AI объявила о доступности модели NVIDIA Nemotron 3 Super на своей платформе Dedicated Inference. Это решение обеспечивает эффективное многоагентное рассуждение, поддерживает контекстное окно в 1 миллион токенов и готово к промышленному развёртыванию на управляемой инфраструктуре.

← Все материалы