Французский стартап ZML выпустил бесплатное ПО под названием ZML/LLMD, предназначенное для оптимизации процесса инференса нейросетей. Решение позволяет запускать модели на широком спектре аппаратного обеспечения, значительно снижая вычислительные затраты. Технология получила поддержку со стороны Яна Лекуна, одного из ведущих экспертов в области глубокого обучения, и направлена на повышение эффективности работы с ИИ-инфраструктурой.
Основная задача ZML/LLMD — устранение фрагментации при работе с различными типами ускорителей. Разработчики стремятся сделать процесс развертывания моделей более гибким, позволяя компаниям использовать доступные вычислительные мощности без привязки к конкретным проприетарным архитектурам чипов. Это упрощает масштабирование агентных систем и сервисов, требующих высокой скорости обработки запросов при ограниченном бюджете.
Продукт ориентирован на снижение барьеров входа для команд, которые сталкиваются с высокими расходами на облачные вычисления. За счет оптимизации взаимодействия программного слоя с аппаратным обеспечением, ZML позволяет добиться более высокой пропускной способности при выполнении задач генеративного ИИ, что критически важно для высоконагруженных систем.
Ключевые факты
- ZML — французский ИИ-стартап, получивший публичную поддержку от лауреата премии Тьюринга Яна Лекуна.
- Продукт ZML/LLMD распространяется бесплатно и нацелен на ускорение инференса на различных типах ИИ-чипов.
- Основная цель разработки — снижение стоимости эксплуатации нейросетей и повышение эффективности использования вычислительных ресурсов.
- Решение помогает нивелировать зависимость от специфического «железа», обеспечивая кроссплатформенную работу моделей.