Платформа Inference Valve от MWS Cloud предназначена для внедрения и эксплуатации моделей искусственного интеллекта.
Как рассказали разработчики, платформа позволяет создавать «любые» обученные ML-модели, большие языковые модели (LLM) и модели компьютерного зрения (CV). С помощью Inference Valve их можно внедрять на имеющейся инфраструктуре, подключать к IT-системам компании через стандартные API, масштабировать, а также обновлять и мониторить.
CV-модели могут автоматически анализировать видео, находя определенные объекты, сцены и действия или классифицировать медицинские изображения. ML- и LLM-модели смогут генерировать и структурировать тексты, анализировать данные, создавать их описание, прогнозировать показатели маркетинга и продаж, отвечать на часто задаваемые вопросы в HR-порталах. Также на платформе можно разворачивать голосовые модели для синтеза и анализа речи, а также внедрения их в колл-центры.
Компании могут развернуть как собственные обученные ИИ-модели, так и воспользоваться готовыми к работе моделями с открытым исходным кодом. Платформа доступна в частном облаке на инфраструктуре MWS Cloud, on-premises на серверах заказчика, а также в составе программно-аппаратных комплексов (ПАК) в закрытом контуре, включая режимы с ограниченным доступом к внешним сетям.
Платформа поддерживает одновременную работу сразу с несколькими моделями с выделением квот вычислительных ресурсов, управление версиями, маршрутизацию трафика между версиями и масштабирование под нагрузку как на GPU, так и на CPU.
