Cloud Spark обеспечивает распределенную пакетную и потоковую обработку неструктурированных и слабоструктурированных данных из разных источников, таких как S3, ClickHouse, Kafka и других. Благодаря оптимизации и кэшированию в памяти, сервис выполняет аналитические запросы к данным практически любого объема.
С помощью Cloud Spark можно оперативно и с минимальными затратами на инфраструктуру решать задачи Data Science и аналитики, в том числе проводить разведочный анализ данных (EDA), а также обучать модели машинного обучения на данных компании. Аналитики и специалисты по работе с данными получают быстрый доступ к необходимым данным из разных источников посредством SQL-запросов, а ML-разработчики могут использовать возможности встроенной библиотеки MLlib для работы с машинным обучением. Все пользователи также могут управлять сервисом из любого удобного окружения, в том числе с локального компьютера и из JupyterHub, за счет встроенной клиентской библиотеки.
Cloud Spark развернут на базе управляемого сервиса Kubernetes от VK Cloud, который позволяет автоматически масштабировать и сокращать вычислительные ресурсы в зависимости от текущей нагрузки. Таким образом, компания может гибко управлять и оптимизировать затраты на сервис, экономя до 60% стоимости инфраструктуры. Поддержку работоспособности и администрирование Cloud Spark обеспечивает платформа VK Cloud, что избавляет от необходимости тратить время и ресурсы собственных специалистов на рутинные задачи.
«Облачный сервис Cloud Spark делает технологии корпоративного уровня доступными для компаний любого размера. Бизнес получает масштабируемый инструмент для работы с большими данными без необходимости самостоятельно запускать, настраивать и администрировать Spark или Kubernetes. Платформа VK Cloud обеспечивает гибкое масштабирование ресурсов, безопасность и соответствие требованиям 152-ФЗ, в то время как специалисты компании могут сосредоточиться на аналитических и исследовательских задачах, работе с машинным обучением, то есть на извлечении из данных пользы для бизнеса», — отмечает Александр Волынский, технический менеджер продукта, VK Cloud.
