Разработчик обещает сократить расходы на GPU и эксплуатацию инфраструктуры до 80%
«Лаборатория Числитель» представила новую редакцию контейнерной платформы «Штурвал» для работы с машинным обучением и ИИ. Решение «Штурвал ML/AI» объединяет вычисления на CPU и GPU в одном кластере Kubernetes и позволяет проводить весь цикл работы с моделями — от экспериментов до запуска готовых сервисов.
Платформа поддерживает обучение и запуск больших языковых моделей, включая Qwen, DeepSeek и Llama. В состав решения входят инструменты Kubeflow и MLflow для организации экспериментов, обучения и управления версиями моделей. Для публикации моделей используется KServe, а обслуживание языковых моделей обеспечивается через vLLM.
Отдельное внимание разработчики уделили распределению вычислительных ресурсов. Платформа позволяет объединять видеокарты в общий пул, выделять их отдельным командам и контролировать загрузку. Для разделения совместимых ускорителей применяется технология NVIDIA Multi-Instance GPU (MIG). По оценке компании, такой подход может сократить расходы на GPU и эксплуатацию инфраструктуры до 80%.
Обновление Kubernetes, драйверов и инструментов машинного обучения выполняется совместно. Платформа также предусматривает централизованное управление доступом, сканирование программных образов на уязвимости и передачу событий аудита во внешние системы безопасности. Решение можно развернуть в закрытом контуре.
«Штурвал ML/AI» поддерживает гибридную инфраструктуру, в которой виртуальные машины используются для стандартных задач, а физические серверы с GPU — для обучения и запуска ИИ-моделей. Среди поддерживаемых ускорителей — NVIDIA A100, H100 и L40S, а операционных систем — Astra Linux, Ред ОС, Rosa, Alt Linux, Ubuntu и Debian.
