Разработчики представили libargus — инструмент для запуска локальных языковых моделей, использующий возможности OpenJDK Panama FFM (Foreign Function & Memory API). Решение позволяет напрямую взаимодействовать с нативными библиотеками инференса из кода на Java 22, обеспечивая низкую задержку и высокую производительность при работе с LLM без необходимости использования тяжелых JNI-оберток.
Использование FFM API в Java 22 позволяет значительно упростить процесс интеграции ИИ-моделей в JVM-экосистему. Традиционно работа с нативными библиотеками C++ требовала написания сложного связующего кода, что создавало накладные расходы и усложняло поддержку. Новый подход открывает путь к созданию высокопроизводительных агентных систем и сервисов на базе Java, работающих с локальными моделями напрямую.
Проект ориентирован на разработчиков, которые стремятся минимизировать задержки при выполнении инференса в Java-приложениях. Благодаря прямому доступу к памяти и эффективному управлению ресурсами через Panama API, libargus позволяет интегрировать современные модели в корпоративные стеки, сохраняя при этом контроль над производительностью и потреблением ресурсов системы.
Ключевые факты
- Инструмент использует OpenJDK Panama FFM API, появившийся в стабильной версии Java 22.
- Реализация исключает использование JNI (Java Native Interface), что снижает накладные расходы при вызове нативных функций.
- Проект обеспечивает низкую задержку при выполнении инференса локальных языковых моделей.
- Решение нацелено на интеграцию LLM в высоконагруженные Java-приложения и агентные системы.