Создание пакетных конвейеров данных с помощью BigQuery и Dataproc

Современные организации полагаются на стабильные, надежные потоки данных для принятия важных бизнес-решений. Понимание того, как эффективно извлекать, преобразовывать и загружать пакетные данные, является основополагающим навыком для любого начинающего специалиста по данным. Этот текстовый курс поможет вам ознакомиться с основными парадигмами обработки данных, а также выбрать и реализовать правильную архитектуру конвейера для ваших проектов. Вы пройдете путь от понимания основных концепций данных до разработки готовых к производству пакетных конвейеров с использованием стандартных облачных технологий. Что вы узнаете: * Понимание основных различий между ETL, ELT и EL парадигм для выбора наилучшего подхода для ваших данных. * Создание масштабируемых хранилищ данных и выполнение аналитических запросов с помощью BigQuery. * Обрабатывать крупномасштабные наборы данных, запуская Spark-задания на управляемых Dataproc-кластерах и в бессерверных средах. * Дизайн визуальных, код-свободных конвейерных рабочих процессов с использованием облачных данных слияния. * Применять современные методы управления данными и схемами для обеспечения надежности трубопроводов. Вы начнете с основных концепций и терминологии в области инженерии данных, а затем перейдете к проектированию конвейеров. С помощью структурированных письменных объяснений и практических сценариев SQL и Spark вы узнаете, как организовать различные инструменты обработки данных для создания целостных систем пакетной обработки. Этот курс предназначен для начинающих, начинающих инженеров данных и администраторов баз данных, которые хотят перейти к облачным рабочим процессам. Начните создавать надежные, автоматизированные конвейеры данных сегодня.