Планировщик Volcano учитывает приоритет задач, вычислительную мощность и видеопамять
Российский разработчик инфраструктурного ПО Orion soft обновил платформу Nova AI для разработки и эксплуатации AI/ML-сервисов. Основным изменением стал автоматизированный механизм распределения GPU между разными типами нагрузок.
За управление вычислительными ресурсами отвечает планировщик Volcano. Он формирует очередь AI/ML-задач с учетом их приоритетов и доступных мощностей. Благодаря этому продуктивные сервисы, обучение моделей и экспериментальные проекты могут работать в одном кластере без постоянного ручного перераспределения GPU.
При распределении учитываются вычислительная мощность видеокарт и объем их видеопамяти. Свободные ресурсы можно направлять на разработку и тестирование, не резервируя их исключительно под возможное увеличение нагрузки на рабочие сервисы.
В новой версии также обновлены inference backend KServe для TensorFlow, PyTorch, Triton и vLLM. Кроме того, появилась поддержка SGLang. Обновление компонентов должно упростить подготовку моделей к промышленному запуску и сократить объем ручной интеграции.
Nova AI представляет собой Kubernetes-платформу для создания и эксплуатации AI/ML-сервисов на инфраструктуре заказчика. Она объединяет GPU в кластер, распределяет вычислительные ресурсы между проектами и предоставляет рабочие среды для ML-инженеров.
