Apache Iceberg. Полное руководство

Традиционные архитектурные шаблоны хранения данных сильно ограничены. Чтобы использовать их, приходится применять довольно дорогостоящие процессы ETL для загрузки данных в каждый инструмент, открывающий доступ к функциям хранилища данных. Отсутствие гибкости в этих шаблонах вынуждает замыкаться на некотором наборе инструментов и форматов, что вызывает дрейф данных. Данная книга демонстрирует более удачное решение. Apache Iceberg предлагает высокую производительность, масштабируемость и экономичность – главные преимущества, свойственные открытым озерам данных. Прочитав книгу, вы узнаете: — как организована архитектура таблиц Apache Iceberg; — что происходит за кулисами, когда вы выполняете операции с таблицами Iceberg; — как еще больше оптимизировать таблицы Iceberg, чтобы добиться максимальной производительности; — как использовать Iceberg с популярными движками данных, такими как Apache Spark, Apache Flink и Dremio. Книга адресована специалистам, занимающимся обработкой и анализом данных, а также администраторам, обслуживающим озера данных.