arXiv · 02.08.2026 ·Инференс и железо

Opt.Gear: новая архитектура моделей для эффективного запуска на устройствах

Представлена Opt.Gear — серия компактных моделей, оптимизированных для работы непосредственно на пользовательских устройствах. Разработчики внедрили гибридную архитектуру, сочетающую сверточные механизмы с локально-глобальным вниманием, что позволяет значительно снизить потребление памяти KV-кэша. Модели поддерживают контекстное окно до 64 000 токенов, сохраняя высокую производительность при инференсе в реальном времени.

Основная проблема, которую решает Opt.Gear, заключается в экспоненциальном росте требований к оперативной памяти при увеличении длины контекста в стандартных трансформерах. Использование сверточного гейтированного микшера ключей и значений позволяет модели эффективно обрабатывать длинные последовательности без избыточного потребления ресурсов, что критически важно для локального запуска на смартфонах и периферийных устройствах.

Семейство включает три версии с разным количеством параметров, что обеспечивает гибкость при выборе между вычислительной мощностью и качеством генерации. Такой подход делает возможным внедрение полноценных агентных функций и глубокого анализа данных непосредственно на конечном оборудовании, исключая необходимость постоянного обращения к облачным серверам и снижая задержки при обработке запросов.

Ключевые факты

Модельный ряд включает версии с 1 млн, 270 млн и 1 млрд параметров.
Поддержка контекстного окна увеличена до 64 000 токенов.
Применена гибридная архитектура с использованием сверточного KV-гэйтированного микшера.
Технология направлена на минимизацию объема KV-кэша для работы в режиме реального времени.
Модели спроектированы для эффективного развертывания на локальных устройствах (on-device).

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Инференс и железо Генерация изображений на Android: оптимизация инференса моделей Команда Duration AI представила решение для запуска генеративных моделей на мобильных устройствах, продемонстрировав работу Stable Diffusion на Android-смартфоне 2025 года. Технология фокусируется на оптимизации инференса, позволяя выполнять ресурсоемкие задачи по созданию изображений локально без обращения к облачным серверам, что существенно снижает задержки и обеспечивает приватность пользовательских данных. The latest research from Google · Инференс и железо Ускорение Gemini Nano на смартфонах Pixel через Multi-Token Prediction Google представила метод оптимизации инференса для моделей Gemini Nano, работающих локально на устройствах Pixel. Технология Multi-Token Prediction (MTP) позволяет модели предсказывать несколько будущих токенов за один проход, что значительно повышает скорость генерации текста без увеличения требований к вычислительным ресурсам. Это решение критически важно для обеспечения плавного пользовательского опыта в мобильных ИИ-приложениях. Hacker News · Инференс и железо Выбор компактных локальных LLM до 2 млрд параметров Пользователи сообщества Hacker News обсуждают наиболее эффективные языковые модели с количеством параметров менее 2 млрд, способные работать при потреблении оперативной памяти менее 3 ГБ. В фокусе внимания оказались модели, оптимизированные для запуска на устройствах с ограниченными ресурсами, включая смартфоны и бюджетные ноутбуки, без существенной потери качества генерации текста и скорости отклика. Hacker News · Инференс и железо Запуск 120B MoE моделей на Android-смартфонах среднего сегмента через llama.cpp Разработчики представили решение, позволяющее запускать массивные MoE-модели (Mixture of Experts) с 120 миллиардами параметров на обычных Android-смартфонах среднего ценового сегмента. Используя оптимизированный движок llama.cpp, проект демонстрирует возможность выполнения инференса исключительно на центральном процессоре (CPU), что открывает новые перспективы для локальной работы с тяжелыми языковыми моделями без необходимости в специализированных GPU или облачных мощностях. Hacker News · Модели и релизы Google представила обновленную модель Gemini 1.5 Flash-8B Google расширила линейку своих легковесных моделей, выпустив обновленную версию Gemini 1.5 Flash-8B. Модель ориентирована на высокопроизводительные задачи с низкой задержкой, сохраняя при этом значительное контекстное окно. Обновление направлено на оптимизацию стоимости и скорости обработки данных в агентных системах и приложениях, требующих мгновенного отклика при работе с большими объемами информации. Hacker News · Модели и релизы Анализ производительности и стоимости модели Gemini 1.5 Flash-8B Аналитический ресурс Artificial Analysis представил подробный разбор новой модели Google Gemini 1.5 Flash-8B. Исследование подтверждает, что модель демонстрирует значительный прирост скорости обработки запросов и снижение стоимости токенов при сохранении высокой точности ответов. Это делает её одним из наиболее эффективных решений для высоконагруженных задач, требующих быстрой обработки больших объемов данных в реальном времени. Hacker News · Машинное обучение Cl33-opLM: компактная языковая модель с обратимым операторным «бутылочным горлышком» Представлена Cl33-opLM — компактная языковая модель с 236 миллионами параметров, использующая архитектуру с обратимым операторным «бутылочным горлышком» (reversible operator bottleneck). Разработка фокусируется на эффективности вычислений и оптимизации архитектурных ограничений, позволяя достичь производительности, сопоставимой с более крупными моделями, при значительно меньших требованиях к аппаратным ресурсам и памяти для инференса. Hacker News · Инференс и железо EdgeSync-LLM: оптимизация KV-кэша для локального запуска LLM на Android EdgeSync-LLM — это специализированный движок для управления фрагментами KV-кэша, разработанный для эффективного инференса больших языковых моделей на мобильных устройствах под управлением Android. Решение написано на Go и фокусируется на минимизации потребления оперативной памяти при работе с контекстом, что критически важно для локального запуска моделей на смартфонах с ограниченными аппаратными ресурсами. Hacker News · Инференс и железо Новый сервер инференса для DGX Spark ускоряет работу крупных моделей Представлен новый сервер инференса, оптимизированный для системы DGX Spark, который обеспечивает высокую скорость генерации для крупногабаритных моделей. Решение достигает производительности 55–90 токенов в секунду без использования методов спекулятивного декодирования. Это значительный шаг в оптимизации аппаратного обеспечения для развертывания тяжелых LLM в корпоративной инфраструктуре, позволяющий повысить эффективность обработки запросов в реальном времени. Hacker News · Инференс и железо Запуск 27-миллиардной модели на 4 ГБ оперативной памяти Разработчики PrismML продемонстрировали возможность запуска языковой модели с 27 миллиардами параметров на устройстве с 4 ГБ оперативной памяти. Достижение стало возможным благодаря сочетанию экстремального квантования весов и оптимизации алгоритмов вычислений, что позволяет выполнять сложные ИИ-задачи локально на смартфонах без обращения к облачным серверам, обеспечивая высокую скорость и конфиденциальность обработки данных.

← Все материалы