2018年10月12日
Spark中的partition和block的关系
摘要： hdfs中的block是分布式存储的最小单元，类似于盛放文件的盒子，一个文件可能要占多个盒子，但一个盒子里的内容只可能来自同一份文件。假设block设置为128M，你的文件是250M，那么这份文件占3个block（128+128+2）。这样的设计虽然会有一部分磁盘空间的浪费，但是整齐的block大小 阅读全文
posted @ 2018-10-12 16:54 大葱拌豆腐 阅读(3264) 评论(0) 推荐(0)