2019年1月10日
spark编译
摘要： 安装jdk1.8 vi pom.xml CDH版本编译添加： pom.xml <repositories> <repository> <id>central</id> <!-- This should be at top, it makes maven try the central repo fi 阅读全文
posted @ 2019-01-10 16:55 MoonyPog 阅读(185) 评论(0) 推荐(0)
spark feature
摘要： spark推测执行：当成功的Task数超过总Task数的75%(可通过参数spark.speculation.quantile设置)时，再统计所有成功的Tasks的运行时间，得到一个中位数，用这个中位数乘以1.5(可通过参数spark.speculation.multiplier控制)得到运行时间门 阅读全文
posted @ 2019-01-10 16:54 MoonyPog 阅读(262) 评论(0) 推荐(0)