Разработчики представили проект, позволяющий запускать инференс модели Gemma 4 непосредственно внутри игрового движка Godot. Реализация использует GDScript и Vulkan compute shaders для выполнения вычислений на GPU, что позволяет интегрировать возможности локальных языковых моделей в игровые механики без необходимости обращения к внешним API или тяжелым серверным решениям.
Данный подход открывает возможности для создания автономных ИИ-персонажей и динамических систем диалогов, которые работают в реальном времени прямо в игровом клиенте. Использование Vulkan compute shaders обеспечивает кроссплатформенность и высокую производительность, позволяя задействовать аппаратные ресурсы видеокарты для обработки нейросетевых операций в рамках стандартного игрового цикла.
Интеграция ориентирована на разработчиков игр, стремящихся минимизировать задержки при взаимодействии с ИИ и обеспечить приватность данных, так как все вычисления происходят локально на устройстве пользователя. Проект демонстрирует жизнеспособность запуска современных моделей с открытыми весами в средах, которые традиционно не предназначались для задач машинного обучения.
Ключевые факты
- Реализация выполнена на GDScript с использованием Vulkan compute shaders для GPU-ускорения.
- Проект обеспечивает локальный инференс модели Gemma 4 без внешних зависимостей.
- Технология позволяет встраивать LLM-функционал непосредственно в логику игровых объектов.
- Решение оптимизировано для работы в реальном времени внутри игрового движка Godot.