2016年11月11日
读取hdfs文件之后repartition 避免数据倾斜
摘要： 场景一： api： textFile("hfds://....").map((key,value)).reduceByKey(...).map(实际的业务计算逻辑) 场景：hdfs的某个文件有183个block，他们的大小分布非常不均匀时，比如有的是200M，有的是1M，有的是10K。此时spark 阅读全文
posted @ 2016-11-11 17:30 王宝生 阅读(2117) 评论(0) 推荐(0) 编辑