Компания Liquid AI выпустила модель LFM 2.5 с 2,6 млрд параметров, которая демонстрирует производительность, сопоставимую с нейросетями в четыре раза большего размера. Разработчики сфокусировались на эффективности архитектуры, позволяющей достигать высоких результатов в задачах обработки текста и кода при значительно меньших требованиях к вычислительным ресурсам и памяти по сравнению с традиционными трансформерами.
Архитектура LFM (Liquid Foundation Models) опирается на принципы динамических систем, что отличает её от стандартных архитектур на базе трансформеров. Такой подход позволяет модели лучше масштабироваться и эффективнее обрабатывать длинные контексты. Релиз включает в себя как базовую версию, так и варианты, оптимизированные для специфических задач, что делает их пригодными для развертывания на устройствах с ограниченными ресурсами.
Высокая плотность знаний в малых моделях становится ключевым трендом в индустрии, позволяя компаниям снижать затраты на инференс без существенной потери качества ответов. LFM 2.5 показывает, что оптимизация алгоритмов обучения и архитектурных решений может компенсировать нехватку параметров, делая современные возможности ИИ доступными для локального запуска и встраивания в edge-устройства.
Ключевые факты
- Модель содержит 2,6 миллиарда параметров, что делает её эффективной для запуска на потребительском оборудовании.
- Производительность LFM 2.5 сопоставима с моделями, имеющими в 4 раза больше параметров (около 10 млрд).
- Архитектура основана на принципах динамических систем, а не на классической структуре трансформеров.
- Модель доступна для использования и тестирования через платформу Hugging Face.
- Разработка ориентирована на высокую скорость инференса и низкое потребление оперативной памяти.