La configuración mostró un rendimiento comparable al de las soluciones basadas en NVIDIA H100.
El grupo Rubytech ha completado las pruebas de grandes modelos de lenguaje rusos en aceleradores gráficos chinos. Las pruebas de Cotype 3, desarrollado por MWS AI, se llevaron a cabo como parte del complejo de hardware y software propietario "Máquinas de Inteligencia Artificial Skala^r" con ocho GPU chinas.
Los ingenieros probaron el funcionamiento del modelo sin utilizar aceleradores NVIDIA, evaluando la velocidad de procesamiento de solicitudes, la latencia de respuesta y la estabilidad del sistema bajo una carga creciente. En los escenarios más comunes, la configuración mostró un rendimiento comparable al de las soluciones basadas en NVIDIA H100.
La optimización adicional de los controladores, el entorno de software y las herramientas de orquestación permitió aumentar el rendimiento en escenarios específicos en 2-2.2 veces en comparación con el entorno original. El enfoque de contenedores también simplificó la implementación de los modelos.
En Rubytech creen que los resultados confirman la posibilidad de crear sistemas de IA corporativos sobre una base de hardware alternativa. Este enfoque puede reducir la dependencia de un único proveedor y ofrecer a las empresas más opciones al seleccionar equipos, teniendo en cuenta el costo, el rendimiento y las perspectivas de escalabilidad.
En el futuro, la compañía planea probar la plataforma con nuevas generaciones de GPU chinas y ampliar la lista de servicios de IA rusos compatibles con el sistema.