Представлена модель The-veil-12B — специализированный файн-тюнинг Gemma 12B, оптимизированный для эффективного взаимодействия с внешними инструментами. Разработчики сфокусировались на способности модели корректно считывать и интерпретировать списки доступных функций, что критически важно для построения надежных ИИ-агентов, работающих в рамках агентных фреймворков и систем автоматизации задач.
Основная проблема многих компактных LLM заключается в низкой точности вызова функций (function calling), что приводит к ошибкам при передаче аргументов или неверному выбору инструментов. The-veil-12B решает эту задачу за счет дообучения на специфических датасетах, содержащих описания API и сценарии использования инструментов. Это позволяет модели стабильнее работать в задачах, где требуется строгое следование формату вывода для интеграции с внешними сервисами.
Модель ориентирована на разработчиков, которым необходим локальный инференс с низкими требованиями к VRAM, но при этом требуется высокая агентная функциональность. Использование архитектуры Gemma 12B обеспечивает баланс между производительностью и скоростью генерации, что делает решение подходящим для развертывания в средах с ограниченными вычислительными ресурсами.
Ключевые факты
- Базовая архитектура: Gemma 12B от Google.
- Специализация: улучшенная интерпретация и вызов внешних инструментов (tool calling).
- Вес модели: 12 миллиардов параметров, что позволяет запускать её на потребительском «железе».
- Доступность: модель опубликована на платформе Hugging Face для свободного использования и тестирования.
- Назначение: создание агентных систем, требующих высокой точности при взаимодействии с API.