Spark环境搭建

Spark环境搭建

1.Java环境配置

• 根据需要选择是否需要卸载系统老版本java

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps 

#重启电脑
reboot

• 使用xftp工具上传jdk15到/opt/software目录(下载地址)
• 解压

cd /opt/software
tar -zxvf XXX.tar.gz -C /opt/module

• 配置环境变量

#创建自己的环境变量文件
sudo vim /etc/profile.d/my_env.sh

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk路径
export PATH=$PATH:$JAVA_HOME/bin
#输入i，进入编辑模式；esc,退出vim编辑状态,进入命令模式；输入:wq，退出保存更改

#使PATH生效
source /etc/profile
#验证
java -version

2.Hadoop配置

• 使用xftp工具上传hadoopXXX.tar.gz到/opt/software目录(下载地址)

• 解压

cd /opt/software
tar -zxvf XXX.tar.gz -C /opt/module

• 配置环境变量

#创建自己的环境变量文件
sudo vim /etc/profile.d/my_env.sh

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop路径
export PATH=$PATH:$HADOOP_HOME/bin
#输入i，进入编辑模式；esc,退出vim编辑状态,进入命令模式；输入:wq，退出保存更改

#使PATH生效
source /etc/profile
#验证
hadoop -version

• 本地运行模式

cd /opt/module/hadoopXXX/
mkdir wcinput
cd wcinput
#编辑word.txt文件
intelligence
workstation
hello hello
hello 
:wq
cd ..
#注意版本3.2.2根据需要，修改
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2jar wordcount wcinput wcoutput
#查看结果
cat wcoutput/part-r-00000

3.Spark环境搭建

• 下载地址
• 环境配置

#创建自己的环境变量文件
sudo vim /etc/profile.d/my_env.sh

#SPARK_HOME
export SPARK_HOME=/opt/module/spark路径
export PATH=$PATH:$SPARK_HOME/bin
#输入i，进入编辑模式；esc,退出vim编辑状态,进入命令模式；输入:wq，退出保存更改

#使PATH生效
source /etc/profile
#验证
spark -shell

更多参考

1. Spark环境搭建