Hugging Face - Blog · 01.06.2026 ·Локальный запуск моделей

Mellum2: новая 12-миллиардная модель от JetBrains для локального использования

JetBrains представила Mellum2 — новую 12-миллиардную модель, основанную на архитектуре Mixture-of-Experts (MoE). Эта модель разработана для эффективного локального использования, что делает её особенно интересной для разработчиков ИИ-агентов, которым важна производительность на локальных устройствах.

Mellum2 использует технологию MoE, которая позволяет модели активировать только те части нейросети, которые необходимы для конкретной задачи. Это значительно снижает вычислительные затраты и делает модель более энергоэффективной. Модель поддерживает инференс на GPU и CPU, что расширяет её возможности для использования в различных сценариях.

Одной из ключевых особенностей Mellum2 является её способность работать с русским языком. Это делает её особенно полезной для разработчиков, создающих ИИ-агентов для русскоязычной аудитории. Модель была обучена на большом количестве текстов на русском языке, что обеспечивает высокое качество её ответов.

Mellum2 доступна на платформе Hugging Face и может быть легко интегрирована в существующие проекты. Это открывает новые возможности для разработчиков ИИ-агентов, которые ищут эффективные и мощные решения для локального использования. Модель может стать важным инструментом в арсенале тех, кто работает над созданием интеллектуальных агентов, способных работать в оффлайн-режиме.

Источник: Hugging Face - Blog

Похожие материалы

Hacker News · Локальный запуск моделей Локальный запуск моделей стал реальностью В последнее время локальный запуск больших языковых моделей (LLM) стал значительно проще и доступнее. Это связано с развитием технологий, которые позволяют запускать мощные модели даже на обычных ноутбуках. Например, модели вроде GPT-4 или Llama 2 теперь можно развернуть локально с помощью таких фреймворков, как Ollama или LM Studio. Это открывает новые возможности для разработчиков, которые хотят создавать ИИ-агенты с минимальными затратами на инфраструктуру. Microsoft Research · Оркестрация и оптимизация для малых моделей MagenticLite: агентная система для малых моделей от Microsoft Research Microsoft Research представила MagenticLite — агентную систему, оптимизированную для работы с малыми моделями. Она поддерживает выполнение задач как в браузере, так и в локальной файловой системе, что делает её универсальным решением для повседневных задач. Система объединяет специализированные модели и оркестрацию, что позволяет эффективно использовать ограниченные вычислительные ресурсы. Simon Willison's Weblog · Новые модели ИИ от Microsoft Microsoft представил две новые модели ИИ MAI-Thinking-1 и MAI-Code-1-Flash Microsoft объявил о выпуске двух новых текстовых моделей ИИ: MAI-Thinking-1 и MAI-Code-1-Flash. MAI-Thinking-1 — это модель для рассуждений с 1 триллионом параметров, из которых 35 миллиардов активны. Она доступна для "выбранных ранних партнеров". MAI-Code-1-Flash, с 137 миллиардами параметров и 5 миллиардами активных, специально разработана для GitHub Copilot и VS Code, чтобы обеспечить высокую производительность и низкую стоимость. Эта модель уже начинает выкатываться для индивидуальных пользователей GitHub Copilot в Visual Studio Code. NVIDIA Technical Blog · Оптимизация MoE-моделей Как NVIDIA ускорила обучение MoE-моделей на 30% NVIDIA представила новые методы оптимизации обучения Mixture-of-Experts (MoE) моделей, которые стали ключевым компонентом современных ИИ-систем. Исследователи компании разработали продвинутые ядра слияния (fusion kernels), которые позволяют значительно ускорить процесс обучения. Lobsters · Инференс и железо ZML: фреймворк для локального запуска моделей ZML (Zero to Metal) — это фреймворк, который позволяет запускать большие языковые модели на локальных устройствах, включая ноутбуки и серверы. Он оптимизирован для работы с ограниченными ресурсами, что делает его полезным для разработчиков, которые хотят развернуть модели без облачных сервисов. Hugging Face - Blog · Локальный инференс и железо Reachy Mini: локальный ИИ-агент с открытым исходным кодом Компания Pollen Robotics представила Reachy Mini — локальный ИИ-агент с открытым исходным кодом, который может работать на обычном ноутбуке. Это важный шаг в развитии локальных решений для ИИ-агентов, так как многие современные системы требуют мощных серверов или облачных вычислений. Hacker News · Локальный запуск моделей Как выглядит локальная инфраструктура LLM у разработчиков На Hacker News обсуждают, как разработчики настраивают локальные LLM для работы. Вопрос задал пользователь, интересующийся, какие модели, оборудование и инструменты используют другие участники сообщества. Это важно для Jarv, так как локальный запуск моделей — ключевой элемент для создания автономных агентов, которые могут работать без облачных сервисов. Hacker News · Инфраструктура для ИИ-агентов Mantic Think: локальный UI для Ollama с поддержкой приватных ключей Mantic Think представляет собой веб-интерфейс для локального запуска моделей на базе Ollama, который позволяет пользователям загружать свои собственные модели и управлять ими с помощью приватных ключей. Это решение особенно полезно для разработчиков, которые хотят сохранить контроль над своими данными и моделями, не полагаясь на облачные сервисы. Hugging Face - Blog · Мультиязычные эмбеддинги для RAG Granite Embedding Multilingual R2: новые эмбеддинги для RAG IBM представила Granite Embedding Multilingual R2 — набор мультиязычных эмбеддингов с контекстом до 32K токенов. Это открытая модель под лицензией Apache 2.0, которая демонстрирует лучшее качество ретриваля среди моделей с менее чем 100 миллионами параметров. Hacker News · Оркестрация ИИ-агентов Новый фреймворк для консультации агентов с другими моделями Разработчики из Rainе представили фреймворк Consult-LLM, который позволяет ИИ-агентам консультироваться с другими языковыми моделями. Это решение может значительно расширить возможности агентов, предоставляя им доступ к знаниям и экспертизе различных моделей.

← Все материалы