Yandex B2B Tech ha abierto el acceso a las empresas a una plataforma de desarrollo propio para el almacenamiento y procesamiento de grandes datos, YTsaurus. Con su ayuda, se pueden analizar exabytes de datos en las empresas y entrenar modelos complejos de aprendizaje automático con miles de millones de parámetros.
YTsaurus está disponible en dos formatos: en la nube y en la infraestructura del cliente (on-premise). En la nube, la solución está disponible como un servicio gestionado, lo que significa que el soporte de la plataforma estará totalmente a cargo de los especialistas de Yandex. Para obtener acceso anticipado a YTsaurus, debe presentar una solicitud en el sitio web.
YTsaurus es un desarrollo propio de Yandex que ya utilizan «Taxi», «Market», así como el transporte autónomo. El sistema está diseñado para resolver el problema de los grandes datos en el cliente, donde las soluciones actuales no pueden hacer frente. El clúster más grande dentro de YTsaurus contiene 1 exabyte de datos, y el volumen total de clústeres supera los 10 EB.
En la compañía explicaron:
YTsaurus es adecuado para procesar una pequeña cantidad de datos y para trabajar con un millón de CPU y decenas de miles de GPU. La plataforma se puede utilizar como un sistema MapReduce clásico, y también se pueden aplicar dentro de la plataforma otras soluciones populares para el procesamiento de datos, incluyendo ClickHouse y Apache Spark. Con la ayuda de YTsaurus, se pueden construir almacenes de datos corporativos, sistemas ETL, procesar datos estructurados y no estructurados o semiestructurados, incluyendo registros o transacciones financieras
