MarkTechPost · 08.07.2026 ·Инфраструктура для агентов

Практическое руководство по архитектуре Cosmos от NVIDIA

NVIDIA представила руководство по работе с фреймворком Cosmos, позволяющее адаптировать архитектуру мировых моделей для обучения на ограниченных вычислительных ресурсах. В основе подхода лежит создание компактной версии модели на базе архитектуры Mixture-of-Transformers, которая использует разделяемое кросс-модальное внимание и специализированную маршрутизацию данных для эффективной обработки различных типов входных сигналов в рамках единой системы.

Фреймворк Cosmos ориентирован на создание мультимодальных систем, способных воспринимать и интерпретировать сложные динамические среды. Использование миниатюрной версии модели в среде Google Colab позволяет разработчикам тестировать пайплайны обработки данных, изучать структуру CLI и схему входных параметров, не прибегая к запуску полноразмерных чекпоинтов Cosmos 3, требующих значительных мощностей графических процессоров.

Техническая реализация фокусируется на оптимизации взаимодействия между модальностями. Благодаря механизму маршрутизации, каждый тип входных данных направляется в соответствующие блоки трансформера, что снижает избыточность вычислений. Такой подход делает архитектуру пригодной для прототипирования агентных систем, требующих глубокого понимания контекста и мультимодального восприятия в реальном времени.

Ключевые факты

Фреймворк Cosmos использует архитектуру Mixture-of-Transformers для обработки нескольких типов данных.
Разделяемое кросс-модальное внимание обеспечивает эффективную интеграцию информации между различными модальностями.
Обучающая конфигурация адаптирована для работы в среде Google Colab, что упрощает доступ к инструментам разработки.
Система включает стандартизированный CLI и схему входных данных, совместимую с полноразмерными моделями Cosmos 3.

Источник: MarkTechPost

Обсудить с ИИ

Похожие материалы

NVIDIA Technical Blog · Модели и релизы NVIDIA Cosmos 3 для разработки физических моделей ИИ NVIDIA представила Cosmos 3 — фреймворк для создания физических моделей ИИ, которые могут понимать и взаимодействовать с реальным миром. Это особенно важно для роботов, автономных транспортных средств и умных пространств, где ИИ-агенты должны не только анализировать данные, но и принимать решения на основе физических закономерностей. Hugging Face - Blog · Обучение и дообучение Ускорение дообучения трансформеров с NVIDIA NeMo AutoModel NVIDIA представила интеграцию NeMo AutoModel с библиотекой Hugging Face, позволяющую значительно ускорить процесс дообучения больших языковых моделей. Решение автоматизирует настройку конфигураций и оптимизацию вычислений, позволяя разработчикам эффективнее использовать аппаратные ресурсы при работе с архитектурами трансформеров. Инструментарий упрощает переход от прототипирования к масштабируемому обучению на GPU, минимизируя ручную настройку параметров. arXiv · Инфраструктура для агентов BluTrain: новый C++/CUDA фреймворк для оптимизации обучения нейросетей Представлен BluTrain — специализированный фреймворк на C++ и CUDA, предназначенный для глубокой оптимизации процессов обучения нейросетей. Инструмент позволяет разработчикам контролировать взаимодействие архитектуры модели с аппаратным обеспечением, обеспечивая высокую пропускную способность и эффективное использование памяти. Решение фокусируется на системном инжиниринге, который становится определяющим фактором производительности при масштабировании современных ИИ-систем. Engineering at Meta · Данные и инжиниринг Инфраструктура хранения данных для обучения масштабных ИИ-моделей от Meta Meta (признана экстремистской организацией, деятельность запрещена в РФ) представила архитектурный подход к организации систем хранения данных, необходимых для обучения моделей нового поколения. Компания оптимизировала пайплайны для работы с экспоненциально растущими датасетами, сократив время доступа к информации и снизив вычислительные издержки, что позволило ускорить цикл выпуска передовых моделей с нескольких месяцев до нескольких недель. Hacker News · Инференс и железо Современное программирование GPU для систем машинного обучения Проект MLC.ai представил комплексный курс по низкоуровневому программированию графических процессоров, ориентированный на задачи машинного обучения. Материалы охватывают оптимизацию вычислений, управление памятью и архитектурные особенности современных GPU, позволяя разработчикам создавать более эффективные системы для инференса и обучения моделей, выходя за рамки стандартных высокоуровневых библиотек и фреймворков. Hacker News · Инфраструктура для агентов Core-1: распределенный C++ фреймворк для моделей с триллионами параметров Представлен Core-1 — новый фреймворк на C++, разработанный для обучения и развертывания моделей с триллионами параметров. Проект ориентирован на создание распределенной инфраструктуры, способной эффективно масштабировать агентные системы и сложные нейросетевые архитектуры. Основной упор сделан на производительность вычислений и оптимизацию работы с памятью при экстремальных нагрузках, характерных для крупномасштабных ИИ-систем. Hacker News · Инференс и железо Запуск мультимодальной модели LFM-2.0 через WebGPU в браузере Liquid AI представила реализацию мультимодальной модели LFM-2.0, работающую полностью в браузере через технологию WebGPU. Решение позволяет выполнять инференс нейросети на стороне клиента без необходимости обращения к серверным мощностям. Это открывает возможности для создания легковесных агентных интерфейсов и интерактивных приложений, требующих обработки изображений и текста непосредственно на устройстве пользователя с минимальной задержкой. arXiv · Модели и релизы Представлена DreamForge-World 0.1: легковесная модель мира для интерактивных симуляций Исследователи представили DreamForge-World 0.1 Preview — фундаментальную модель мира, предназначенную для интерактивной симуляции в реальном времени. В отличие от крупномасштабных аналогов, система оптимизирована для работы на устройствах с ограниченными вычислительными ресурсами. Архитектура базируется на стеке LongLive 1 и модели Wan2.1-T2V-1.3B, дополненных механизмом обработки действий, заимствованным из игровых симуляторов. Hacker News · Обучение и дообучение Оптимизация локального обучения и инференса LLM с Unsloth Библиотека Unsloth позволяет значительно ускорить процесс дообучения и запуска популярных языковых моделей на локальном оборудовании. Инструмент оптимизирует использование видеопамяти и повышает скорость вычислений при работе с архитектурами Llama, Mistral и Phi. За счет переработки алгоритмов градиентного спуска и использования специализированных ядер CUDA, разработчики добиваются снижения потребления ресурсов до 70% при сохранении точности весов. Hacker News · Инференс и железо Реализация GPT-2 на чистом C и CUDA Проект NanoEuler представляет собой минималистичную реализацию архитектуры уровня GPT-2, написанную с нуля на языках C и CUDA. Автор отказался от использования тяжелых фреймворков глубокого обучения, таких как PyTorch или TensorFlow, в пользу прямого взаимодействия с графическим процессором через низкоуровневый код. Это позволяет детально изучить работу механизмов внимания и матричных вычислений, лежащих в основе современных языковых моделей.

← Все материалы