Spark2.4.0-CDH6.3 错误解决过程

1.背景

最近环境切换到CDH6.3,用到Spark2.4,Hive2.1,Hadoop3.0,Beam等组件,Beam中嵌套了很多组件的原生API。

2.安装

2.1 Spark

具体步骤略,照着网上文档按步骤就可以安装好,下面步骤,展示如何启动Master,Worker进程。

安装目录:/opt/cloudera/parcels/CDH/lib/spark,操作主目录。

spark-env.sh

在此配置文件末尾添加JAVA_HOME环境变量

export JAVA_HOME=/usr/local/jdk

slaves

这个文件如果没有,自己创建一个,文件内容配置Worker节点的主机名,每个节点都配置下文件。

示例:

m4.server
nlp.server

/opt/cloudera/parcels/CDH/lib/spark/work

work-&

posted @ 2021-09-15 10:48  Dlimeng  阅读(29)  评论(0)    收藏  举报  来源