Основы моделирования, преобразования и обслуживания данных

Современные организации работают на данных, но необработанные данные редко готовы к немедленному анализу или машинному обучению. Понимание того, как структурировать, очищать и предоставлять эти данные, является ключом к раскрытию их истинной ценности. Этот текстовый курс поможет вам освоить основные принципы архитектуры данных, перейти от сбора необработанных данных к структурированному, высокопроизводительному обслуживанию данных. Вы узнаете, как разрабатывать надежные модели данных и создавать эффективные преобразования, которые используются в панелях бизнес-аналитики и рабочих процессах машинного обучения. Что вы узнаете: - Понять основные концепции моделирования данных, включая нормализацию, звездочные схемы, методологии Inmon и Kimball и конструкции одной большой таблицы (OBT). - Сравнить структуры данных, оптимизированные для традиционной бизнес-аналитики, с теми, которые требуются для табличных наборов данных машинного обучения. - Преобразование необработанных наборов данных с использованием dbt (инструмент построения данных) для создания надежных, документируемых и проверяемых потоков данных. - Применять современные методы инженерии данных, включая семантические слои и рабочие процессы преобразования с контролем версий. - Настроить слои обслуживания данных для эффективной доставки чистых, структурированных данных в инструменты анализа и модели ML. Курс начинается с основных определений и теории архитектуры, а затем переходит к практическим сценариям преобразования. Вы пройдете пошаговые шаблоны SQL и dbt, изучая, как структурировать таблицы для оптимальной производительности запросов и готовности к машинному обучению. Этот курс предназначен для начинающих инженеров данных, аналитиков данных и новичков в базах данных. Не требуется опыта программирования или предыдущего опыта моделирования данных Начните создавать чистые, надежные и высокопроизводительные конвейеры данных уже сегодня.