Cloud Big Data

Преднастроенные инструменты для хранения, обработки и анализа больших данных

kz-bigdata-about.png

Облачный сервис для полного цикла работы с большими данными

Позволяет заменить дорогую физическую инфраструктуру, которая требует постоянных вложений, быстро проверять гипотезы и получать бизнес-инсайты с решениями по анализу больших данных на базе Hadoop, Spark, Arenadata и ClickHouse.

Почему VK Cloud?

done_green_16.svg
Готовый стек преднастроенных инструментов для полного цикла работы с большими данными.
done_green_16.svg
Плата только за фактически потребленные ресурсы, посекундная тарификация.
done_green_16.svg
Облако соответствует закону о № 94-V Республики Казахстан, можно работать с персональными данными.
done_green_16.svg
Договор с казахстанским юридическим лицом, оплата в тенге.
done_green_16.svg
Легкое масштабирование инфраструктуры для работы с любым объемом данных.

Технологии для построения решений Big Data в облаке

Сервисы для работы с Big Data на базе Open-Source-технологий

Решения для всего цикла обработки данных — от работы с неструктурированными данными до аналитики.
hadoop-logo.svg

Apache Hadoop

Решение для анализа неструктурированных данных. Подходит для построения озер данных (Data Lake), индексации веб-сайтов, финансового анализа, научных исследований.

Сервисы для работы с Big Data с расширенными возможностями для Enterprise

Набор масштабируемых облачных сервисов с расширенной функциональностью на уровне политик доступа, а также с регулярным обновлением возможностей ПО на базе устойчивых версий продуктов Apache.

Arenadata Hadoop

Решение для хранения и анализа больших данных. Содержит усиленные механизмы контроля безопасности информации. Позволяет строить озера данных, обрабатывать массивы данных и готовить их для выгрузки в другие сервисы.

Готовые сборки для решения аналитических задач

kz-bigdata-solution-1.png

Data Science

Извлекайте и анализируйте неструктурированные или плохо структурированные данные и стройте прогнозы на их основе.
Spark 2
Zeppelin
vkcloud-logo-blue.svg
Вы также можете самостоятельно создать конфигурацию решения и подключить любые компоненты через интерфейс облачной платформы или командный интерфейс.

Компоненты, доступные в Cloud Big Data

Пакетная (Batch) обработка данных

hadoop-alt-logo.svg
Hadoop
spark-logo.svg
Spark

Примеры архитектуры решения для работы с Big Data

Аналитическая платформа

Открыть схему

DWH в облаке

Открыть схему

Рекомендательный движок

Открыть схему

IoT в облаке

Открыть схему

kz-bigdata-arch-1.svg
scroll-cхема
kz-bigdata-arch-2.svg
scroll-cхема
check_circle_outline_28.svgОркестрация потоков данных производится с помощью Airflow или NiFi. Оба инструмента можно использовать как сервис в VK Cloud. Основное DWH предлагаем строить на базе ADB/Greenplum. Данная сисема доступна по модели aaS в VK Cloud.
check_circle_outline_28.svgВитрины данных можно вынести в Clickhouse для ускорения доступа и снижения нагрузки на основную базу DWH, либо оставить внутри Arenadata DB.
check_circle_outline_28.svgВместо Arenadata DN для DWH. Также можно использовать Hadoop. Однако мы рекомендуем выбрать ADB, так как в этом случае вы можете описывать все трансформации в рамках ETL-процессов, используя SQL.
check_circle_outline_28.svgArenadata DB — это enterpise-ready-решение, создавшееся под OLAP нагрузки и задачи DWH. В то время как Hadoop обычно больше подходит для решения задач Data Lake. Также используя S3, мы получаем экономически эффективную альтернативу HDFS, где нам не нужно беспокоиться о размере кластера, сайзинге, обслуживании кластера Hadoop.
check_circle_outline_28.svgВыбрав NiFi, вам будет доступен удобный UI для построения/изменения потоков данных.
kz-bigdata-arch-3.svg
scroll-cхема

Пример: на основе выбора покупателя предлагать сопутствующие товары «с этим товаром покупают». Источники данных: клиентское поведение, просмотр товаров, аналитика о прошлых покупках, что покупали с этим товаром.

check_circle_outline_28.svgВозможность пакетной и потоковой загрузки
check_circle_outline_28.svgМашинное обучение по поведению покупателей
check_circle_outline_28.svgАнализ «допродаж»
check_circle_outline_28.svgФормирование спецпредложений, скидок и акций в зависимости от поведения
check_circle_outline_28.svgОбработка логов (игровая индустрия)
kz-bigdata-arch-4.svg
scroll-cхема

Пример: IoT на производственных линиях, предиктивная аналитика.

Источники данных: станки/роботы на линии передают информацию о своем состоянии оператору.

На основе этой информации можно предупредить поломку оборудования, оптимизировать линию производства, понять загрузку каждого узла сборочной линии. При анализе ретроспективной информации можно увидеть, например, что необходимо выбрать другие сверла/материалы/станки и т. д.

Истории успеха клиентов VK Cloud

kz-bigdata-aushan-image.png

«Ашан Ритейл Россия» использовал экосистему сервисов VK Cloud для анализа Big Data и увеличил выручку на 2%

«Ашан Ритейл Россия» — крупная торговая сеть, объединяющая 241 магазин по всей России. На базе VK Cloud компания построила решение для прогнозирования спроса, которое позволило на 2% увеличить выручку и на 5% сократить излишние запасы товаров в магазинах.

FAQ

Что гарантирует провайдер?

VK Cloud отвечает за доступность сервисов. В зону ответственности провайдера входит:

  • обслуживание ИT-инфраструктуры;
  • хостинг решения;
  • администрирование;
  • обеспечение высокой доступности сервисов.

Вы управляете данными и извлекаете из них пользу.


От чего зависит стоимость сервиса?

Стоимость сервиса зависит от выбранного пакета. При этом плата начисляется за используемые ресурсы, а также за лицензии, если вы пользуетесь решениями для работы с большими данными на базе продуктов Arenadata Hadoop, Cloud Streams, Arenadata DB.

При расчете стоимости сборок на основе Arenadata Hadoop учитывается версия Arenadata Hadoop (на платформе доступны версии Standard, Enterprise и Enterprise Trial) и размер диска. Вы платите за лицензии в формате Pay-as-you-go — по факту потребления ресурсов.


Какие компоненты поддерживает Cloud Big Data?

Платформа поддерживает HDFS, YARN, MapReduce2, Tez, Hive, HBase, Pig, ZooKeeper, Kafka, Spark2, Zeppelin Notebook, Sqoop, Flume, Ambari, Atlas, Knox, Ranger, Ranger KMS, Spark, Kerberos, Jupyter, Jupyter Hub и Airflow. Вы можете подключить любые компоненты и создать конфигурацию под свои задачи.

Документация

Здесь есть ответы на большинство вопросов по настройке сервисов

Не нашли ответ на свой вопрос?

Задайте его техподдержке по почте, и мы оперативно ответим.
support@vkcloud.kz
партнер в Казахстане