Компания Liquid AI выпустила семейство моделей LFM2.5-Encoders, оптимизированных для эффективной обработки длинных контекстов. Архитектура моделей позволяет достигать высокой производительности даже при запуске на центральных процессорах (CPU), что значительно снижает требования к аппаратному обеспечению для задач анализа больших объемов данных, поиска и извлечения информации в реальном времени.
В основе разработки лежит отказ от классических трансформеров в пользу архитектуры Liquid Foundation Models (LFM). Это решение позволяет избежать квадратичного роста вычислительной сложности при увеличении длины входной последовательности. В результате модели демонстрируют линейное масштабирование, сохраняя при этом точность, сопоставимую с современными аналогами, при значительно меньшем потреблении оперативной памяти.
Технология ориентирована на сценарии, где требуется быстрая обработка документов, логов или длинных текстовых потоков в условиях ограниченных ресурсов. Возможность работы на стандартном серверном или пользовательском оборудовании без использования специализированных GPU делает эти модели доступным инструментом для внедрения в локальные инфраструктуры и edge-системы.
Ключевые факты
- Архитектура LFM2.5 обеспечивает линейную сложность обработки, что позволяет эффективно работать с контекстом в десятки и сотни тысяч токенов.
- Модели оптимизированы для выполнения инференса на CPU, что снижает стоимость эксплуатации и упрощает развертывание в облачных и локальных средах.
- Разработчики заявляют о значительном преимуществе в скорости генерации и обработки данных по сравнению с традиционными архитектурами трансформеров при работе с длинными последовательностями.
- Модели доступны для тестирования и интеграции в рамках экосистемы Liquid AI, ориентированной на создание высокопроизводительных ИИ-решений с низким порогом входа по железу.