Структурированный поток Apache Spark с Scala Основы

Вам необходимо обрабатывать и анализировать огромные объемы данных в реальном времени? Apache Spark Structured Streaming предоставляет мощное, отказоустойчивое решение для современных задач по обработке данных. Этот курс поможет вам освоить основные концепции обработки потоков с помощью Scala, что позволит вам разрабатывать, внедрять и развертывать готовые к производству потоковые приложения, которые надежно обрабатывают состояние, окна и сложные соединения. Что вы узнаете: * Понимание основной архитектуры структурированной потоковой передачи, включая источники, поглотители, триггеры и режимы выполнения. * Применять сложные методы временного оконного анализа для эффективного агрегирования и анализа потоков данных. * Настройка управления состоянием и надежных стратегий контрольных точек для отказоустойчивости и восстановления. * Реализация сложных поток-то-поток и поток к статическим соединений для обогащения потока данных в реальном времени. * Практика интеграции потоковых приложений с внешними системами данных, такими как базы данных и очереди сообщений. * Разработка готовых к эксплуатации схем трубопроводов с уделением особого внимания основным стандартам мониторинга и регистрации в целях обеспечения эксплутационной стабильности. Мы начнем с основных понятий и терминологии обработки потоков Spark, прежде чем перейти к практической конфигурации и реализации основных функций, таких как управление состоянием и окно. В конце курса представлены рекомендации по развертыванию и обслуживанию длительных потоковых заданий. Этот базовый курс предназначен для начинающих инженеров данных, ученых и разработчиков, которые хотят начать создавать приложения для данных в реальном времени с использованием Apache Spark и Scala. Не требуется предыдущий опыт потокового вещания. Начните накапливать опыт работы с данными в реальном времени уже сегодня.