2019年7月14日

spark RDD 多流程练习操作

摘要: 当然原文件和目标文件都在hdfs中 代码 pom文件为 结果 阅读全文

posted @ 2019-07-14 20:05 床上小老虎 阅读(290) 评论(0) 推荐(0)

梳理spark提交流程

摘要: 很久不写spark代码,提交的时候遇到不少问题,操! 先记录下来,以后方便查看 先启动 spark集群,这里是三台(dfs-yarn-zk-spark) 启动完毕之后,需要关闭master服务 sbin/stop-master.sh 以ip方式启动 ./sbin/start-master.sh -h 阅读全文

posted @ 2019-07-14 16:35 床上小老虎 阅读(355) 评论(1) 推荐(0)

导航