2021年6月27日
Hive和Spark分区策略
摘要： 1.概述 离线数据处理生态系统包含许多关键任务，最大限度的提高数据管道基础设施的稳定性和效率是至关重要的。这边博客将分享Hive和Spark分区的各种策略，以最大限度的提高数据工程生态系统的稳定性和效率。 2.内容 大多数Spark Job可以通过三个阶段来表述，即读取输入数据、使用Spark处理、 阅读全文
posted @ 2021-06-27 17:18 哥不是小萝莉 阅读(1608) 评论(0) 推荐(0) 编辑