Запросы к большим данным с помощью SQL и облачного хранилища

Управление массивными наборами данных требует перехода от традиционных баз данных к масштабируемому облачному хранилищу и распределенным системам. Этот текстовый курс поможет вам освоить основы эффективного структурирования, хранения и запросов больших данных. Вы узнаете, как выбрать оптимальные форматы файлов, настроить схемы и выполнять распределенные SQL-запросы для извлечения ценных сведений из больших объемов данных. Вы также узнаете о том, как использовать SQL для создания и управления крупномасштабными потоками данных, а также о том как использовать функции SQL, чтобы оптимизировать работу с данными. Что вы узнаете: - Понимание основных архитектур облачного хранения, распределенных файловых систем и озер данных. - Применять структуру к неструктурированным или полуструктурированным наборам данных с использованием схем и метаданных. - Запрос массивных наборов данных с использованием распределенных SQL-движков, таких как Apache Hive и Apache Impala. - Оптимизация производительности запросов путем выбора правильных форматов файлов, таких как Parquet и ORC, и стратегий разделения. - Настройка типов хранения данных и методов сжатия для баланса стоимости хранения и скорости запроса. Курс начинается с основных концепций больших данных и архитектур хранения, а затем переходит к практическим методам запросов SQL и стратегиям оптимизации производительности. Вы пройдете четкие письменные объяснения, разбивки архитектуры и практические упражнения по запросам. Этот курс предназначен для начинающих аналитиков данных, администраторов баз данных и разработчиков программного обеспечения, которые только начинают работать с большими данными и хотят узнать о распределенных запросах. Начните развивать свои навыки работы с большими данными и узнайте, как выполнять запросы к массивам данных.