Основы инженерии данных: построение конвейеров ETL с Hadoop

В современном мире, основанном на данных, организации полагаются на чистые, доступные и структурированные данные для принятия важных решений. Этот текстовый курс поможет вам освоить основные концепции инженерии данных и научиться управлять ими и перемещать их в масштабе. Вы пройдете путь от понимания основных концепций данных до разработки и выполнения собственных конвейеров Extract, Transform, Load (ETL). Освоив основные структуры больших данных и современные методы хранения, вы приобретете навыки, необходимые для обработки массивных наборов данных, и подготовите их для последующего анализа. Вы узнаете: Понимание основной терминологии по обработке данных, включая пакетную обработку в сравнении с обработкой в реальном времени и архитектурой конвейера; Извлечение необработанных данных из различных источников и их очистка с помощью современных методов преобразования; Эффективная загрузка структурированных данных в хранилища данных и распределенные системы хранения; Настройка Hadoop и Концепции MapReduce для обработки крупномасштабных наборов данных в распределенных средах; Применение современных форматов хранения, таких как Parquet и Delta Lake, для оптимизации производительности конвейера; Разработка автоматизированных рабочих процессов конвейеров для обеспечения последовательной доставки данных и контроля качества. Курс начинается с основных определений и принципов архитектуры, а затем переходит к поэтапным письменным учебникам по извлечению, преобразованию и загрузке данных. Затем вы изучите распределенные вычисления с Hadoop и современные стратегии хранения данных с помощью практических письменных упражнений. Этот курс предназначен для начинающих, начинающих инженеров данных и аналитиков, которые хотят понять бэк-энд систем данных. Не требуется предыдущий опыт инженерии данных или сложное программирование. Начните свое путешествие в мир больших данных, и построить свой первый трубопровод данных сегодня.