Traducido con IA del original en ruso.

El desarrollo puede reducir los costos de implementación de servicios de IA y los requisitos de hardware

El equipo de MWS AI ha abierto el acceso al código fuente de CoSpaDi, un método de compresión de modelos de lenguaje grandes sin entrenamiento adicional. El desarrollo permite reducir el tamaño de las redes neuronales preservando la precisión de sus respuestas. El código está publicado en GitHub.

El método CoSpaDi (Compressing LLMs via Calibration-Guided Sparse Dictionary Learning) fue desarrollado por investigadores del Centro de Investigación Fundamental de MWS AI. Se basa en una representación más compacta de los pesos de la red neuronal: los parámetros del modelo se codifican mediante combinaciones de un pequeño número de elementos de un diccionario diseñado específicamente.

Durante las pruebas en modelos Llama y Qwen de 0,6 a 14 mil millones de parámetros, el método logró una reducción de tamaño del 20-40%. Al mismo tiempo, la precisión de las respuestas resultó ser, en promedio, superior a la de SVD-LLM, uno de los enfoques más extendidos para la compresión de redes neuronales.

La tecnología puede ser de interés para empresas que ejecutan modelos de lenguaje en hardware con memoria limitada. Permitirá reducir los costos de infraestructura, desplegar modelos dentro del entorno corporativo o atender simultáneamente a más usuarios con la capacidad existente. Además, CoSpaDi puede acelerar el funcionamiento de las redes neuronales; el resultado final depende del hardware y de la implementación de software.

Ahora en portada

Noticias

El Premio «Lo mejor para la vida. Diseño sin fronteras» (Best for Life Design) – 2026 abre la convocatoria de candidaturas

Hoy en día, el diseño va mucho más allá de la arquitectura y el diseño de interiores. Está presente en todos los ámbitos de la vida: en libros y medios de comunicación, interfaces digitales, publicidad y branding, infraestructura urbana y cultura. Cada persona interactúa con los resultados de las soluciones de diseño: elige, recuerda, se orienta y toma decisiones.

Noticias

«MediaKult – 2026». De la economía de la atención a la IA: tendencias clave de la industria en un solo espacio

Abierta la convocatoria para «MediaKult – 2026», uno de los eventos clave de la industria que combina un premio profesional y un foro empresarial para líderes de los medios, el marketing, las industrias creativas y la tecnología. El evento se celebrará en otoño en Moscú y reunirá a más de 500 participantes: representantes empresariales, agencias, medios y organismos gubernamentales.