2019年7月14日

spark RDD 多流程练习操作

摘要： 当然原文件和目标文件都在hdfs中 代码 pom文件为 结果 阅读全文

posted @ 2019-07-14 20:05 床上小老虎 阅读(290) 评论(0) 推荐(0)

梳理spark提交流程

摘要： 很久不写spark代码，提交的时候遇到不少问题，操！ 先记录下来，以后方便查看 先启动 spark集群，这里是三台（dfs-yarn-zk-spark） 启动完毕之后，需要关闭master服务 sbin/stop-master.sh 以ip方式启动 ./sbin/start-master.sh -h 阅读全文

posted @ 2019-07-14 16:35 床上小老虎 阅读(355) 评论(1) 推荐(0)

导航