Нейросети станут компактнее: MWS AI открыла код нового метода сжатия ИИ-моделей

Разработка может снизить затраты на запуск ИИ-сервисов и требования к оборудованию

Команда MWS AI открыла доступ к исходному коду CoSpaDi — метода сжатия больших языковых моделей без дополнительного обучения. Разработка позволяет уменьшать размер нейросетей, сохраняя точность их ответов. Код опубликован на GitHub.

Источник изображения: ИИ Grok Imagine

Метод CoSpaDi (Compressing LLMs via Calibration-Guided Sparse Dictionary Learning) разработан исследователями Центра фундаментальных исследований MWS AI. Он основан на более компактном представлении весов нейросети: параметры модели кодируются с помощью комбинаций небольшого числа элементов специально сформированного словаря.

В ходе испытаний на моделях Llama и Qwen с 0,6–14 млрд параметров метод обеспечил сокращение размера на 20–40%. При этом точность ответов в среднем оказалась выше, чем у SVD-LLM — одного из распространенных подходов к сжатию нейросетей.

Технология может быть востребована компаниями, которые запускают языковые модели на оборудовании с ограниченной памятью. Она позволит сократить затраты на инфраструктуру, развертывать модели внутри корпоративного контура или одновременно обслуживать больше пользователей на существующих мощностях. Кроме того, CoSpaDi может ускорять работу нейросетей — результат зависит от аппаратного обеспечения и программной реализации.