摘要: Standalone 构建一个由==Master+Slave==构成的Spark集群。 安装使用 1.进入spark安装目录的conf文件夹 2.修改spark env.sh,默认是只有spark env.sh.template文件,将其重命名或者拷贝重命名 3.修改slave文件,添加worker 阅读全文
posted @ 2020-04-21 18:22 Q1Zhen 阅读(141) 评论(0) 推荐(0)
摘要: Yarn模式 Spark客户端直接连接Yarn,不需要额外构建Spark集群。有$\color{red}{Yarn client}$和$\color{red}{Yarn cluster}$两种模式。主要区别在于Driver程序的运行节点。 1.yarn client:Driver程序运行在客户端,适 阅读全文
posted @ 2020-04-21 16:53 Q1Zhen 阅读(314) 评论(0) 推荐(0)