2020年11月20日

Idea开发Spark应用及远程运行及调试

摘要： 本地开发执行Spark应用 1.Windows安装spark，设置环境变量SPARK_HOME=D:\spark-3.0.1，并在环境变量PATH加上%SPARK_HOME%\bin;%SPARK_HOME\sbin%; 2.Idea新建gradle项目spark，在build.gradle里添加 阅读全文

posted @ 2020-11-20 23:53 jmbkeyes 阅读(1704) 评论(0) 推荐(0)

Spark on yarn

摘要： 1.配置 安装Hadoop：需要安装HDFS模块和YARN模块,可以参考前文https://www.cnblogs.com/jmbkeyes/p/13898676.html 安装Spark：不需要启动Spark集群，在client节点配置中spark-env.sh添加JDK和HADOOP_CONF_ 阅读全文

posted @ 2020-11-20 22:47 jmbkeyes 阅读(116) 评论(0) 推荐(0)

导航