Simon Willison's Weblog · 22.06.2026 ·Инференс и железо

Запуск легковесной модели Moebius 0.2B в браузере

Представлена модель Moebius, предназначенная для качественного заполнения областей на изображениях (inpainting). Несмотря на компактный размер в 0,2 миллиарда параметров, архитектура демонстрирует эффективность, сопоставимую с гораздо более тяжелыми решениями уровня 10 миллиардов параметров. Изначально модель требовала для работы среды PyTorch и графических ускорителей NVIDIA с поддержкой CUDA.

В рамках эксперимента модель была успешно портирована для работы непосредственно в браузере. Это позволяет выполнять сложные задачи по редактированию изображений локально, без необходимости отправки данных на сервер или использования мощных GPU в облаке. Для оптимизации процесса и переноса кода использовались современные инструменты автоматизации разработки, что упростило адаптацию нейросети под веб-стандарты.

Данный кейс демонстрирует тренд на миниатюризацию моделей, которые сохраняют высокую точность при минимальных требованиях к аппаратному обеспечению. Перенос подобных решений в браузерную среду открывает возможности для создания быстрых и приватных инструментов обработки графики, работающих на стороне клиента в реальном времени.

Источник: Simon Willison's Weblog

Похожие материалы

Hacker News · Инференс и железо Запуск модели Gemma 2 2B в браузере с высокой скоростью генерации Разработчики представили реализацию модели Gemma 2 2B, оптимизированную для работы непосредственно в браузере через WebGPU. Использование специализированных ядер позволило достичь скорости генерации текста на уровне 255 токенов в секунду. Это решение демонстрирует возможности локального исполнения нейросетей на клиентских устройствах без необходимости обращения к облачным серверам. Hacker News · Машинное обучение Реализация нейронных клеточных автоматов на WebGPU Нейронные клеточные автоматы (NCA) представляют собой вычислительную модель, где локальные правила взаимодействия между соседними ячейками сетки приводят к возникновению сложных глобальных паттернов и самоорганизующихся структур. В отличие от классических клеточных автоматов, правила в NCA определяются нейронной сетью, что позволяет системе обучаться выполнению конкретных задач, таких как генерация изображений, морфогенез или восстановление поврежденных данных. Hacker News · Инференс и железо Запуск 35B MoE моделей на устаревших GPU через Vulkan Появилось руководство по запуску крупных языковых моделей архитектуры Mixture of Experts (MoE) с 35 миллиардами параметров на видеокартах прошлых поколений, таких как AMD Radeon RX 580 с 8 ГБ видеопамяти. Техническое решение базируется на использовании графического API Vulkan, что позволяет обойти аппаратные ограничения и отсутствие поддержки проприетарных платформ вроде ROCm или CUDA. Hacker News · Инференс и железо Проблемы запуска LLM в браузере через WebGPU Запуск локальных языковых моделей в браузере с использованием WebGPU сталкивается с серьезными ограничениями, которые выходят за рамки простого определения поддержки API. Разработчики, пытающиеся внедрить инференс моделей на мобильных устройствах, обнаружили, что наличие поддержки WebGPU не гарантирует стабильную работу нейросетей. Основная проблема кроется в различиях между спецификациями API и их реальной реализацией в конкретных браузерах и на мобильных чипсетах. Hacker News · Инфраструктура для агентов Вышел Transformers.js 4.0: запуск моделей прямо в браузере Библиотека Transformers.js обновилась до версии 4.0, открывая новые возможности для запуска нейросетевых моделей непосредственно в браузере и средах Node.js. Основной акцент в релизе сделан на расширении поддержки архитектур и оптимизации производительности при работе с клиентскими вычислительными мощностями. Теперь разработчики могут интегрировать сложные ИИ-функции в веб-приложения без необходимости отправки данных на сервер, что критически важно для приватности и снижения задержек. NVIDIA Technical Blog · Модели и релизы Как NVIDIA ускорила обучение MoE-моделей на 30% NVIDIA представила новые методы оптимизации обучения Mixture-of-Experts (MoE) моделей, которые стали ключевым компонентом современных ИИ-систем. Исследователи компании разработали продвинутые ядра слияния (fusion kernels), которые позволяют значительно ускорить процесс обучения. NVIDIA Technical Blog · Инференс и железо Запуск мультимодальных моделей на GPU NVIDIA NVIDIA представила обновление для своей платформы Step 3.7 Flash, которое позволяет запускать мультимодальные ИИ-модели на графических процессорах с повышенной производительностью. Это решение ориентировано на корпоративных пользователей и предоставляет инструменты для работы с изображениями, документами, видео и другими типами данных. Hugging Face - Blog · Модели и релизы Mellum2: новая 12-миллиардная модель от JetBrains для локального использования JetBrains представила Mellum2 — новую 12-миллиардную модель, основанную на архитектуре Mixture-of-Experts (MoE). Эта модель разработана для эффективного локального использования, что делает её особенно интересной для разработчиков ИИ-агентов, которым важна производительность на локальных устройствах. Hacker News · Инференс и железо Qwen 3.6 93B на двух RTX 3090 NVLink: 187 токенов в секунду Команда Augmented Reality Virtual Reality (AR VR) опубликовала результаты тестирования модели Qwen 3.6 93B с использованием MTP (Multi-Query Tensor Parallelism) на конфигурации из двух видеокарт RTX 3090 с NVLink. В результате удалось достичь скорости инференса в 187 токенов в секунду. Это значительное улучшение по сравнению с предыдущими показателями, что делает модель более пригодной для локального использования, включая разработку ИИ-агентов. Replicate's blog · Модели и релизы Запуск модели Isaac 0.1 для восприятия реального мира Компания Replicate анонсировала доступ к модели Isaac 0.1 на своей платформе. Это лёгкая визуально-языковая модель, ориентированная на восприятие реального мира. Модель разработана для работы с изображениями и текстом, что позволяет ей анализировать и интерпретировать визуальные данные в контексте реальных сценариев.

← Все материалы