Основы больших данных: обработка с помощью Apache Hadoop и Spark

В этом текстовом курсе вы узнаете основные понятия распределенного хранения и параллельной обработки данных, которые помогут вам понять, как работают современные системы больших данных. Вы перейдете от изучения базовой терминологии к пониманию того, как управляются и анализируются огромные наборы данных в компьютерных кластерах. Узнайте, как писать конвейеры обработки данных, запускать запросы и эффективно управлять ресурсами. Что вы узнаете: Понимание фундаментальной архитектуры распределенных систем, включая HDFS и MapReduce; Написать приложения Spark с помощью PySpark для фильтрации, агрегирования и преобразования крупномасштабных данных; Эффективно запрашивать большие данные с помощья Sspark SQL для структурированного анализа; Применять современные концепции данных для поддержания надежности данных и Настройка и управление ресурсами кластера с помощью YARN. Курс начинается с основных определений и обзора архитектуры, а затем вы пройдете через примеры написанного кода и концептуальные конвейеры данных. Он разработан специально для начинающих, аналитиков данных и начинающих инженеров данных без предыдущего опыта работы в распределенных системах. Начните читать сегодня, чтобы заложить прочный фундамент в современной инженерии больших данных.