Разработка конвейера потоков данных с Apache Beam

Современная обработка данных требует способности обрабатывать огромные массивы данных в реальном времени без управления сложной инфраструктурой. Этот курс проведет вас через процесс создания надежных, бессерверных конвейеров данных, которые обрабатывают как исторические пакетные данные, так и события потоковой передачи в реальном времени. Вы начнете с овладения фундаментальной терминологией и архитектурой унифицированной обработки данных. Что вы узнаете: - Понимание основных концепций Apache Beam и его выполнения на Dataflow. - Внедрение стратегий окна, водяные знаки, и триггеры для обработки данных позднего прибытия. - Определение структурированных данных с использованием схем для упрощения логики конвейера и повышения эффективности. - Применять преобразования состояний с использованием State и Timer API для расширенной обработки событий. - Настройка различных источников и поглотителей для интеграции с различными системами хранения и обмена сообщениями. - Практикуются современные методы наблюдения и отладки трубопроводов для надежных производственных рабочих процессов. Курс начинается с основных определений и модели Beam, а затем переходит к сложным схемам потоков и передовым методам оптимизации конвейера. Эта программа предназначена для новичков, желающих войти в мир инженерии данных, без предварительного опыта разработки конвейера. Начните создавать масштабируемые решения для данных сегодня.