Компания Together AI представила ряд обновлений для своих GPU-кластеров, направленных на повышение надежности и управляемости инфраструктуры. Новые инструменты включают пассивные проверки состояния узлов, автоматизированные механизмы восстановления, улучшенную интеграцию с планировщиком Slurm, поддержку протокола OIDC для аутентификации и возможность использования кастомных скриптов при запуске. Эти изменения призваны упростить эксплуатацию масштабных сред для обучения и инференса моделей.
Обновления сфокусированы на минимизации простоев в высоконагруженных системах. Внедрение пассивных проверок позволяет системе мониторинга автоматически выявлять деградирующие узлы, не прерывая выполнение текущих задач, а улучшенная работа со Slurm обеспечивает более стабильное управление очередями и распределение ресурсов в кластере. Поддержка OIDC упрощает интеграцию с корпоративными системами управления доступом, что критично для безопасности при работе с облачными мощностями.
Функционал скриптов инициализации позволяет автоматизировать настройку окружения при старте узлов, сокращая время на подготовку инфраструктуры к работе. Эти улучшения делают облачные GPU-кластеры более пригодными для непрерывных производственных процессов, требующих высокой отказоустойчивости и гибкости конфигурации.
Ключевые факты
- Внедрены пассивные проверки состояния (passive health checks) для раннего обнаружения неисправностей оборудования.
- Реализована автоматизация восстановления узлов (node repair), снижающая необходимость ручного вмешательства администраторов.
- Улучшена интеграция с планировщиком Slurm для повышения стабильности выполнения задач в кластере.
- Добавлена поддержка протокола OIDC для стандартизированной аутентификации пользователей и сервисов.
- Добавлена возможность использования кастомных скриптов для автоматической настройки конфигурации при запуске узлов.