Libargus — это новый инструмент для запуска локальных LLM, использующий возможности API OpenJDK Panama FFM (Foreign Function & Memory) в Java 22. Проект обеспечивает низкую задержку при выполнении моделей, позволяя Java-приложениям напрямую взаимодействовать с нативными библиотеками инференса без традиционных накладных расходов JNI, что упрощает интеграцию нейросетей в экосистему JVM.
Использование Panama FFM позволяет разработчикам эффективно работать с памятью и вызывать C/C++ функции напрямую из Java-кода. Это решение ориентировано на создание высокопроизводительных конвейеров инференса, где критически важна скорость отклика и минимальное потребление ресурсов. Инструмент предоставляет альтернативный путь для внедрения локальных моделей в корпоративные системы, построенные на стеке Java, без необходимости переписывать инфраструктуру на Python или C++.
Проект решает проблему «тяжелого» взаимодействия между управляемым кодом Java и нативными библиотеками, которые обычно используются для ускорения нейросетей на GPU. Благодаря прямому доступу к памяти, Libargus минимизирует копирование данных, что значительно ускоряет передачу тензоров между слоями приложения и движком инференса.
Ключевые факты
- Реализован на базе Java 22 с использованием API Panama FFM для прямого доступа к нативным функциям.
- Обеспечивает низкую задержку инференса за счет исключения промежуточных слоев JNI.
- Ориентирован на интеграцию локальных LLM непосредственно в Java-приложения.
- Позволяет эффективно управлять памятью при работе с нативными библиотеками нейросетей.