El planificador Volcano tiene en cuenta la prioridad de las tareas, la potencia de cálculo y la memoria de vídeo.
El desarrollador ruso de software de infraestructura Orion soft ha actualizado la plataforma Nova AI para el desarrollo y la operación de servicios AI/ML. El cambio principal fue un mecanismo automatizado para distribuir la GPU entre diferentes tipos de cargas de trabajo.
El planificador Volcano es responsable de la gestión de los recursos informáticos. Forma una cola de tareas AI/ML teniendo en cuenta sus prioridades y las capacidades disponibles. Gracias a esto, los servicios productivos, el entrenamiento de modelos y los proyectos experimentales pueden ejecutarse en un solo clúster sin una redistribución manual constante de la GPU.
La distribución tiene en cuenta la potencia de cálculo de las tarjetas de vídeo y la cantidad de su memoria de vídeo. Los recursos libres se pueden dirigir al desarrollo y las pruebas, sin reservarlos exclusivamente para un posible aumento de la carga en los servicios operativos.
La nueva versión también ha actualizado los backends de inferencia KServe para TensorFlow, PyTorch, Triton y vLLM. Además, se ha añadido soporte para SGLang. La actualización de los componentes debería simplificar la preparación de los modelos para el lanzamiento industrial y reducir la cantidad de integración manual.
Nova AI es una plataforma Kubernetes para crear y operar servicios AI/ML en la infraestructura del cliente. Combina GPU en un clúster, distribuye los recursos informáticos entre proyectos y proporciona entornos de trabajo para ingenieros de ML.
