Компания Liquid AI выпустила новую серию моделей LFM (Liquid Foundation Models) с 2,6 млрд параметров, оптимизированных для работы непосредственно на пользовательских устройствах. Эти модели используют архитектуру, отличную от классических трансформеров, что позволяет достичь высокой производительности при минимальном потреблении памяти и вычислительных ресурсов, делая их пригодными для запуска в агентных системах на смартфонах и ноутбуках.
Разработчики сфокусировались на эффективности инференса, что критически важно для создания автономных ИИ-агентов, работающих без постоянного подключения к облачным серверам. Новая архитектура обеспечивает высокую скорость генерации токенов и низкую задержку, сохраняя при этом качество ответов, сопоставимое с более крупными моделями аналогичного класса. Это открывает возможности для внедрения сложных агентных сценариев в локальные приложения, где конфиденциальность данных и работа в офлайн-режиме являются приоритетными требованиями.
Использование подобных моделей позволяет значительно снизить затраты на облачную инфраструктуру при масштабировании агентных решений. Благодаря компактному размеру, LFM 2.5B легко интегрируется в существующие пайплайны разработки, поддерживая стандартные форматы инференса и обеспечивая предсказуемое поведение в задачах рассуждения и обработки контекста.
Ключевые факты
- Модели LFM 2.5B содержат 2,6 миллиарда параметров и оптимизированы для запуска на устройствах с ограниченными ресурсами.
- Архитектура моделей отходит от стандартных трансформеров, обеспечивая более эффективное использование памяти.
- Релиз ориентирован на создание локальных ИИ-агентов, требующих высокой скорости отклика и приватности данных.
- Модели демонстрируют конкурентоспособные показатели в задачах логического вывода и обработки естественного языка для своего размерного класса.