Las redes neuronales serán más compactas: MWS AI abre el código de un nuevo método de compresión de modelos de IA

El desarrollo puede reducir los costos de implementación de servicios de IA y los requisitos de hardware

El equipo de MWS AI ha abierto el acceso al código fuente de CoSpaDi, un método de compresión de modelos de lenguaje grandes sin entrenamiento adicional. El desarrollo permite reducir el tamaño de las redes neuronales preservando la precisión de sus respuestas. El código está publicado en GitHub.

Fuente de la imagen: IA Grok Imagine

El método CoSpaDi (Compressing LLMs via Calibration-Guided Sparse Dictionary Learning) fue desarrollado por investigadores del Centro de Investigación Fundamental de MWS AI. Se basa en una representación más compacta de los pesos de la red neuronal: los parámetros del modelo se codifican mediante combinaciones de un pequeño número de elementos de un diccionario diseñado específicamente.

Durante las pruebas en modelos Llama y Qwen de 0,6 a 14 mil millones de parámetros, el método logró una reducción de tamaño del 20-40%. Al mismo tiempo, la precisión de las respuestas resultó ser, en promedio, superior a la de SVD-LLM, uno de los enfoques más extendidos para la compresión de redes neuronales.

La tecnología puede ser de interés para empresas que ejecutan modelos de lenguaje en hardware con memoria limitada. Permitirá reducir los costos de infraestructura, desplegar modelos dentro del entorno corporativo o atender simultáneamente a más usuarios con la capacidad existente. Además, CoSpaDi puede acelerar el funcionamiento de las redes neuronales; el resultado final depende del hardware y de la implementación de software.