NVIDIA выпустила Nemotron-Labs-3-Puzzle-75B-A9B — оптимизированную версию модели Nemotron-3-Super, использующую гибридную архитектуру MoE (Mixture of Experts). Благодаря методу итеративного сжатия Puzzle, разработчикам удалось увеличить пропускную способность сервера в 2,03 раза при сохранении прежней скорости генерации для пользователя, значительно снизив при этом требования к количеству активных параметров.
Технология Puzzle сочетает аппаратное структурное сжатие с этапами дистилляции знаний, что позволяет восстанавливать точность модели после уменьшения её объёма. В результате общая численность параметров сократилась со 120,7 млрд до 75,3 млрд, а количество активных параметров — с 12,8 млрд до 9,3 млрд. Это делает модель более эффективной для развертывания в высоконагруженных серверных средах.
При тестировании на узле с восемью графическими ускорителями B200 модель демонстрирует стабильную работу на уровне 100 токенов в секунду на пользователя. Подобная оптимизация позволяет компаниям существенно снизить затраты на инференс и увеличить плотность запросов на одну аппаратную единицу без потери качества ответов, что критично для масштабируемых ИИ-сервисов.
Ключевые факты
- Общее количество параметров модели снижено с 120,7 млрд до 75,3 млрд.
- Количество активных параметров уменьшено с 12,8 млрд до 9,3 млрд.
- Пропускная способность сервера выросла в 2,03 раза по сравнению с базовой версией Nemotron-3-Super.
- Тестирование проводилось на конфигурации из восьми ускорителей B200.
- Поддерживается стабильная скорость генерации 100 токенов в секунду на пользователя.