В обновленной версии пользователи могут тестировать, запускать и интегрировать большие языковые модели (LLM) в приложения и корпоративные процессы. Платформа предоставляет инструменты мониторинга и автоматизации, улучшая производительность моделей.
Среди ключевых обновлений — развертывание ИИ-моделей на выделенной инфраструктуре с возможностью автомасштабирования и доступ через приватные сети для повышения стабильности и информационной безопасности. Добавлены инструменты observability, позволяющие контролировать состояние и производительность моделей, включая логи и метрики Inference-сервера.
Архитектура платформы обновлена: в качестве основного компонента для инференса используется vLLM — высокопроизводительный open-source фреймворк для запуска LLM. В каталог добавлены новые open-source модели от IBM, Alibaba, Microsoft и других компаний. Управление сервисами доступно через REST API, что упрощает интеграцию в бизнес-процессы.
Обновления затронули и пользовательский интерфейс: появилась фильтрация по характеристикам, упрощающая поиск и выбор подходящих моделей.