Se añadieron nuevos modelos open-source al Foundation Models Catalog: soluciones de IBM (Granite), Alibaba (Qwen), DeepSeek, Microsoft (Phi), Mistral AI y OpenAI.
En la versión actualizada, los usuarios pueden probar, ejecutar e integrar grandes modelos de lenguaje (LLM) en aplicaciones y procesos corporativos. La plataforma ofrece herramientas de monitoreo y automatización, mejorando el rendimiento de los modelos.
Entre las actualizaciones clave se encuentra el despliegue de modelos de IA en infraestructura dedicada con capacidad de autoescalado y acceso a través de redes privadas para aumentar la estabilidad y la seguridad de la información. Se añadieron herramientas de observability que permiten supervisar el estado y el rendimiento de los modelos, incluidos los registros y las métricas del servidor de inferencia.
La arquitectura de la plataforma fue actualizada: como componente principal para la inferencia se utiliza vLLM, un framework open-source de alto rendimiento para ejecutar LLM. Al catálogo se añadieron nuevos modelos open-source de IBM, Alibaba, Microsoft y otras compañías. La gestión de servicios está disponible a través de REST API, lo que simplifica la integración en los procesos empresariales.
Las actualizaciones también afectaron a la interfaz de usuario: apareció el filtrado por características, lo que facilita la búsqueda y la selección de modelos adecuados.
