PySpark и Apache Spark Основы для инженерии данных

Инженерия данных опирается на быструю и надежную обработку огромных массивов данных. Apache Spark является необходимым инструментом для этой работы, но овладение его распределенной природой требует прочной концептуальной основы. Этот курс предоставляет основу в PySpark, позволяя вам проектировать, создавать и оптимизировать надежные конвейеры данных для масштабируемых приложений Big Data. Что вы узнаете: * Понять архитектуру Apache Spark и принципы распределенных вычислений. * Обработка данных мастера с использованием устойчивых распределенных наборов данных (RDD) и мощного API DataFrame в PySpark. * Применять Spark SQL для сложных методов манипуляции данными и настройки производительности для оптимизации запросов. * Настройка и использование структурированной потоковой передачи для обработки потоков данных в реальном времени. * Практика современных методов хранения данных и интеграции с общими форматами, такими как паркет и ORC. * Использовать основные возможности MLlib для выполнения общих задач машинного обучения в конвейере данных. Мы начнем с основной терминологии Spark и настройки среды, быстро перейдем к практической работе с RDD и DataFrames, а затем погрузимся в оптимизацию, потоковую передачу и специализированные библиотеки. Этот курс предназначен для абсолютно начинающих, заинтересованных в том, чтобы стать инженерами или учеными данных, которым нужно масштабировать свои возможности обработки данных. Не требуется предыдущий опыт работы с Spark или распределенными системами. Начните создавать основу для масштабируемой обработки данных сегодня.