Hacker News · 01.07.2026 ·Инференс и железо

Liquid AI представила компактную модель LFM-2.5 на 230 млн параметров

Компания Liquid AI выпустила новую языковую модель LFM-2.5 с 230 миллионами параметров, оптимизированную для работы на устройствах с ограниченными ресурсами. Архитектура модели позволяет эффективно функционировать на смартфонах, одноплатных компьютерах типа Raspberry Pi и робототехнических системах, обеспечивая высокую скорость инференса при минимальном потреблении оперативной памяти и вычислительной мощности процессора.

Разработка основана на принципах «жидких» нейронных сетей, которые отличаются от классических трансформеров динамической структурой. В отличие от стандартных моделей, требующих значительных объемов VRAM, LFM-2.5 спроектирована для работы в условиях локального инференса, что критически важно для автономных систем и устройств, где облачное подключение невозможно или нежелательно из-за задержек.

Модель демонстрирует конкурентоспособную производительность в задачах обработки текста и логического вывода, несмотря на малый размер. Использование таких решений позволяет интегрировать полноценные возможности ИИ непосредственно в периферийные устройства (edge devices), снижая зависимость от централизованных дата-центров и повышая конфиденциальность пользовательских данных за счет локальной обработки.

Ключевые факты

Размер модели составляет 230 миллионов параметров, что делает её одной из самых компактных в своем классе.
Архитектура специально оптимизирована для запуска на мобильных процессорах и микрокомпьютерах, включая Raspberry Pi.
Модель поддерживает работу в режиме реального времени, что необходимо для управления роботами и другими автономными системами.
Разработчики сфокусировались на снижении требований к памяти, позволяя запускать модель на устройствах с крайне ограниченными аппаратными ресурсами.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

MarkTechPost · Инференс и железо Liquid AI выпустила компактную модель LFM2.5-230M для локального запуска Компания Liquid AI представила LFM2.5-230M — свою самую компактную нейросеть с 230 млн параметров. Модель оптимизирована для работы на периферийных устройствах, демонстрируя высокую скорость генерации текста. Она поддерживает популярные фреймворки инференса, такие как llama.cpp и vLLM, и показывает превосходство над более крупными аналогами в задачах извлечения данных и выполнения инструкций. MarkTechPost · Машинное обучение Liquid AI представила компактные модели для многоязычного поиска Компания Liquid AI выпустила новые модели LFM2.5-Embedding-350M и LFM2.5-ColBERT-350M, предназначенные для эффективного семантического поиска. Решения базируются на архитектуре с 350 миллионами параметров и оптимизированы для работы на периферийных устройствах, что позволяет использовать их локально без обращения к облачным серверам. Hacker News · Обучение и дообучение Опыт обучения компактных высокопроизводительных моделей Максим Лабонн из Liquid AI представил подробный разбор процесса создания «малых» моделей (Small Language Models), которые по своим характеристикам приближаются к крупным языковым системам. В основе подхода лежит оптимизация архитектуры и качества данных, позволяющая достичь высокой эффективности при ограниченных вычислительных ресурсах. Основное внимание уделяется этапам подготовки датасетов, выбору стратегий токенизации и настройке гиперпараметров, которые критически влияют на итоговую производительность модели. Hacker News · Инференс и железо Запуск мультимодальной модели LFM-2.0 через WebGPU в браузере Liquid AI представила реализацию мультимодальной модели LFM-2.0, работающую полностью в браузере через технологию WebGPU. Решение позволяет выполнять инференс нейросети на стороне клиента без необходимости обращения к серверным мощностям. Это открывает возможности для создания легковесных агентных интерфейсов и интерактивных приложений, требующих обработки изображений и текста непосредственно на устройстве пользователя с минимальной задержкой. Hacker News · Инференс и железо Релиз Apex-1-flash: 4B LLM, оптимизированная для обучения на RTX 5070 Команда OrbitAI представила Apex-1-flash — компактную языковую модель с 4 миллиардами параметров. Ключевой особенностью релиза стала оптимизация процесса дообучения (fine-tuning) под потребительское железо нового поколения, в частности видеокарту RTX 5070. Модель демонстрирует высокую эффективность в задачах инференса, сохраняя при этом баланс между производительностью и требованиями к видеопамяти для локального запуска. Hacker News · Инференс и железо Выпущена компактная модель Inflect-Nano для локального синтеза речи Представлена Inflect-Nano — специализированная модель для преобразования текста в речь (TTS), насчитывающая всего 4,63 миллиона параметров. Благодаря экстремально малому размеру, архитектура способна работать локально на устройствах с ограниченными вычислительными ресурсами, сохраняя при этом функциональность полноценного вокодера. Это решение позволяет интегрировать качественный голосовой вывод непосредственно в агентные системы и локальные приложения без необходимости обращения к облачным API. Hacker News · Прогнозы и тренды Почему будущее ИИ принадлежит малым языковым моделям Малые языковые модели (SLM) становятся более эффективной альтернативой гигантским нейросетям, предлагая высокую производительность при значительно меньших затратах на вычисления. Переход от погони за количеством параметров к оптимизации архитектуры и качества данных позволяет компаниям внедрять ИИ локально, обеспечивая при этом высокую скорость работы, конфиденциальность данных и предсказуемость результатов в специализированных бизнес-задачах. Hacker News · Инференс и железо Особенности дообучения и запуска LLM на мобильных устройствах Запуск больших языковых моделей непосредственно на смартфонах требует значительной оптимизации вычислительных ресурсов и управления памятью. Основные сложности связаны с ограниченным объемом оперативной памяти и необходимостью поддержания высокой энергоэффективности при выполнении операций инференса. Для адаптации моделей под мобильное железо применяются методы квантования, позволяющие снизить точность весов без критической потери качества генерации, что критически важно для работы на чипсетах с ограниченной пропускной способностью. Hacker News · Инференс и железо Производительность компактных LLM на NVIDIA Jetson Orin Nano Тестирование показало возможности запуска компактных языковых моделей на одноплатном компьютере NVIDIA Jetson Orin Nano 8GB. Исследование фокусируется на скорости генерации токенов при использовании квантованных моделей, демонстрируя пригодность данного оборудования для задач локального инференса в граничных вычислениях (edge computing) без необходимости подключения к облачным серверам. Hacker News · Инференс и железо Выбор компактных локальных LLM до 2 млрд параметров Пользователи сообщества Hacker News обсуждают наиболее эффективные языковые модели с количеством параметров менее 2 млрд, способные работать при потреблении оперативной памяти менее 3 ГБ. В фокусе внимания оказались модели, оптимизированные для запуска на устройствах с ограниченными ресурсами, включая смартфоны и бюджетные ноутбуки, без существенной потери качества генерации текста и скорости отклика.

← Все материалы