Yandex B2B Tech открыл доступ бизнесу к платформе собственной разработки для хранения и обработки больших данных YTsaurus. С ее помощью можно анализировать эксабайты данных в компаниях и обучать сложные модели машинного обучения с миллиардами параметров.
YTsaurus доступна в двух форматах: в облаке и в инфраструктуре заказчика (on-premise). В облаке решение доступно как управляемый сервис, то есть поддержкой платформы будут полностью заниматься специалисты Яндекса. Для раннего доступа к YTsaurus необходимо подать заявку на сайте.
YTsaurus — это собственная разработка Яндекса, которую уже применяют «Такси», «Маркет», а также автономный транспорт. Система призвана решить проблему больших данных у заказчика, где текущие решения не справляются. Самый большой кластер YTsaurus внутри вмещает 1 эксабайт данных, а суммарный объём кластеров превышает 10 ЭБ.
В компании пояснили:
YTsaurus подходит для обработки небольшого количества данных и для работы с миллионом CPU и десятками тысяч GPU. Платформу можно использовать как классическую MapReduce-систему, так и применять внутри платформы другие популярные решения для обработки данных, в том числе ClickHouse и Apache Spark. C помощью YTsaurus можно строить корпоративные хранилища данных, ETL-системы, обрабатывать как структурированные, так и неструктурированные или полуструктурированные данные, в том числе логи или финансовые транзакции
