Spark2.4.0-CDH6.3 错误解决过程

1.背景

最近环境切换到CDH6.3，用到Spark2.4，Hive2.1，Hadoop3.0，Beam等组件，Beam中嵌套了很多组件的原生API。

2.安装

2.1 Spark

具体步骤略，照着网上文档按步骤就可以安装好，下面步骤，展示如何启动Master,Worker进程。

安装目录：/opt/cloudera/parcels/CDH/lib/spark，操作主目录。

spark-env.sh

在此配置文件末尾添加JAVA_HOME环境变量

export JAVA_HOME=/usr/local/jdk

slaves

这个文件如果没有，自己创建一个，文件内容配置Worker节点的主机名，每个节点都配置下文件。

示例：

m4.server
nlp.server

/opt/cloudera/parcels/CDH/lib/spark/work

work-&