El equipo de MWS AI ha abierto el acceso al código fuente de CoSpaDi, un método de compresión de modelos de lenguaje grandes sin entrenamiento adicional. El desarrollo permite reducir el tamaño de las redes neuronales preservando la precisión de sus respuestas. El código está publicado en GitHub.

El método CoSpaDi (Compressing LLMs via Calibration-Guided Sparse Dictionary Learning) fue desarrollado por investigadores del Centro de Investigación Fundamental de MWS AI. Se basa en una representación más compacta de los pesos de la red neuronal: los parámetros del modelo se codifican mediante combinaciones de un pequeño número de elementos de un diccionario diseñado específicamente.
Durante las pruebas en modelos Llama y Qwen de 0,6 a 14 mil millones de parámetros, el método logró una reducción de tamaño del 20-40%. Al mismo tiempo, la precisión de las respuestas resultó ser, en promedio, superior a la de SVD-LLM, uno de los enfoques más extendidos para la compresión de redes neuronales.
La tecnología puede ser de interés para empresas que ejecutan modelos de lenguaje en hardware con memoria limitada. Permitirá reducir los costos de infraestructura, desplegar modelos dentro del entorno corporativo o atender simultáneamente a más usuarios con la capacidad existente. Además, CoSpaDi puede acelerar el funcionamiento de las redes neuronales; el resultado final depende del hardware y de la implementación de software.