Разработка эффективных алгоритмов ввода-вывода для крупномасштабных данных

По мере того как массивы данных растут в геометрической прогрессии, традиционные алгоритмы в памяти испытывают трудности, когда данные больше не помещаются в ОЗУ. Чтобы создать высокопроизводительные системы, программисты и специалисты по данным должны понимать, как минимизировать медленный доступ к хранилищу и оптимизировать перемещение данных. Этот курс поможет вам разобраться в принципах работы внешней памяти и алгоритмов, не зависящих от кэширования. Вы перейдете от написания стандартных алгоримов к разработке систем, оптимизирующих передачу данных по современной иерархии памяти, что значительно повысит производительность крупномасштабных баз данных, файловых систем и конвейеров данных. Что вы узнаете: - Понимание основных ограничений иерархии памяти, включая различия между ОЗУ, SSD и современным хранилищем NVMe. - Анализ алгоритмов с использованием модели внешней памяти для измерения и минимизации операций ввода-вывода на диске. - Разработка фундаментальных структур данных внешней памяти, таких как B-деревья и буферные пулы, для эффективного поиска данных. - Применять принципы проектирования, не забывающие о кэше, для написания алгоритмов, которые эффективно работают с кэшем разных размеров без ручной настройки. - Сравнить современные парадигмы хранения, включая лог-структурированные деревья слияния (LSM) и традиционные B-деревья, используемые в современных движках баз данных. Вы начнете с основных понятий иерархии памяти и затрат ввода-вывода, а затем перейдете к основным структурам данных внешней памяти, методам внешнего сортирования и современным архитектурам хранения данных. С помощью подробных письменных объяснений и алгоритмических просмотров вы научитесь думать о вычислениях с точки зрения передачи данных, а не просто циклов ЦП. Этот курс предназначен для разработчиков программного обеспечения, студентов-информатиков и инженеров данных, которые хотят понять высокопроизводительную обработку данных. Не требуется предыдущий опыт работы с алгоритмами внешней памяти, поскольку мы начинаем с абсолютной основы. Начните осваивать алгоритмы, которые управляют современными, крупномасштабными системами данных, уже сегодня.