Команда Unsloth представила оптимизированные версии моделей GLM-5.2, доступные в формате GGUF. Этот релиз позволяет запускать современные языковые модели на потребительском оборудовании с использованием библиотек для квантования, что значительно снижает требования к объему видеопамяти при сохранении высокой точности инференса.
Формат GGUF обеспечивает эффективную работу моделей на различных аппаратных конфигурациях, включая системы без мощных графических ускорителей. Использование инструментов Unsloth для подготовки весов позволяет разработчикам быстрее интегрировать локальные модели в свои проекты, минимизируя задержки при обработке запросов и обеспечивая полный контроль над данными.
Данное обновление расширяет возможности для локального развертывания сложных агентных систем, где критически важна скорость отклика и независимость от облачных API. Оптимизация весов под стандарт GGUF упрощает процесс деплоя в средах с ограниченными вычислительными ресурсами, делая современные архитектуры GLM более доступными для широкого спектра прикладных задач.