随笔分类 -  spark

Spark Job的提交与task本地化分析（源码阅读）
摘要：Spark中任务的处理也要考虑数据的本地性(locality)，Spark目前支持PROCESS_LOCAL（本地进程）、NODE_LOCAL（本地节点）、NODE_PREF、RACK_LOCAL（本地机架）、ANY（任何）几种。其他都很好理解，NODE_LOCAL会在spark日志中执行拉取数据所 阅读全文
posted @ 2016-12-11 21:00 岁月安好 阅读(1314) 评论(0) 推荐(0)