Компания Databricks выбрала китайскую открытую модель GLM 5.2 в качестве основного инструмента для написания кода. Внутренние тесты на многомиллионной кодовой базе показали, что модель демонстрирует качество ответов на уровне Anthropic Claude 3 Opus, но при этом обходится значительно дешевле. Это решение подчеркивает тренд на отказ от привязки к одному поставщику в пользу кастомных бенчмарков.

В ходе тестирования инженеры Databricks сравнивали производительность моделей на реальных задачах разработки. Выяснилось, что GLM 5.2 успешно справляется с написанием и отладкой кода, обеспечивая сопоставимый с лидерами рынка результат. Переход на эту модель позволяет компании оптимизировать расходы на инфраструктуру разработки, сохраняя при этом высокую скорость и качество генерации программного обеспечения.

Опыт Databricks подтверждает необходимость создания компаниями собственных систем оценки моделей. Публичные бенчмарки часто не отражают специфику конкретных корпоративных задач и кодовых баз. Разработка внутренних метрик позволяет бизнесу объективно выбирать наиболее эффективные решения, исходя из реальной стоимости выполнения конкретных рабочих процессов, а не из маркетинговых заявлений разработчиков ИИ-моделей.

Ключевые факты

  • Модель GLM 5.2 показала качество кодинга, эквивалентное Anthropic Claude 3 Opus.
  • Стоимость выполнения одной задачи на GLM 5.2 составляет $1,28 против $1,94 у Claude 3 Opus.
  • Тестирование проводилось на собственной кодовой базе Databricks, состоящей из миллионов строк кода.
  • Компания планирует использовать GLM 5.2 как основной инструмент для ежедневных задач программирования.
  • Databricks призывает бизнес внедрять собственные бенчмарки вместо опоры на общедоступные тесты.