Введение в Apache Kafka и обработку потоков

Данные в реальном времени являются основой современных приложений, но управление потоками событий с высокой пропускной способностью может быть непростым. Apache Kafka предоставляет надежное, масштабируемое решение для обработки непрерывных потоков данных. В этом текстовом курсе вы пройдете путь от понимания основных концепций обмена сообщениями до создания собственных потоков событий в реальном времени. Вы изучите внутреннюю архитектуру Kafka, научитесь надежно маршрутизировать данные между системами и узнаете, как современная обработка потоков преобразует необработанные события в полезные сведения. Что вы узнаете: • Понимание основных терминов потоковой передачи, тем, разделов и смещений • Настройка современных сред Kafka с использованием режима KRaft без наследственных зависимостей ZooKeeper • Создание надежных производителей и потребителей сообщений для публикации и чтения потоков данных • Разработка отказоустойчивых конвейеров данных с использованием групп потребителей и репликации • Интеграция Kafka с внешними системами с помощью Kafka Connect и основных потоковых платформ, таких как Apache Spark • Применять современные методы управления схемами для поддержания качества данных в потоках Курс начинается с четких определений архитектуры потоковых событий, а затем вы пройдете через практические, текстовые сценарии. Вы будете логически продвигаться от настройки базового кластера до изучения фрагментов кода для маршрутизации сообщений и, наконец, изучение шаблонов интеграции. Этот курс предназначен исключительно для начинающих. Не требуется предыдущий опыт работы с распределенными системами или инженерии данных. Начните читать сегодня, чтобы раскрыть возможности потоковых данных в реальном времени и создать свой первый конвейер, управляемый событиями.