Apache Spark Основы для практики инженерии данных

Этот курс поможет вам освоить основные принципы Apache Spark, которые позволят вам разрабатывать и внедрять практические конвейеры данных. Вы начнете с понимания основной терминологии, архитектуры Spark и моделей выполнения кластеров, прежде чем приступить к работе с практическими сценариями обработки данных. Что вы узнаете: Понимание основных концепций Apache Spark, драйверов выполнения и архитектур распределенных кластером. Обрабатывайте структурированные и полуструктурированные наборы данных с помощью PySpark DataFrames и Spark SQL. Выполняйте масштабируемые преобразования данных, агрегации и сложные соединения наборов данных. Исследуйте современные модели хранения данных в хранилищах типа «lakehouse», используя такие форматы, как Delta Lake, для надежного управления данными. Настройка основных рабочих процессов пакетной обработки и основы структурированной потоковой передачи. Практика моделей инженерии данных с помощью поэтапных письменных объяснений и примеров кода. Курс начинается с основных определений и основных принципов, прежде чем перейти к реалистичным задачам инженерии. Этот курс предназначен для начинающих и начинающих специалистов по данным, и требует базового знакомства с Python, но без предыдущего опыта работы с Spark. Начните наращивать свои навыки масштабируемого инжиниринга данных сегодня.