2017年7月4日
spark - Locality Level
摘要： 这几个值在图中代表 task 的计算节点和 task 的输入数据的节点位置关系 PROCESS_LOCAL: 数据在同一个 JVM 中，即同一个 executor 上。这是最佳数据 locality。 NODE_LOCAL: 数据在同一个节点上。比如数据在同一个节点的另一个 executor上；或在 阅读全文
posted @ 2017-07-04 21:33 澄轶(程毅) 阅读(1675) 评论(0) 推荐(1)
Diagnostics: File file:/tmp/spark-***/__spark_libs__***.zip does not exist
摘要： Diagnostics: File file:/tmp/spark-c03df206-c90e-4c97-a2d6-a5d3fdb17811/__spark_libs__303213348409500965.zip does not exist 使用了cluster和client的deploy mo 阅读全文
posted @ 2017-07-04 12:22 澄轶(程毅) 阅读(2761) 评论(0) 推荐(0)