一. JAVA8安装:

1. 安装步骤(略)

2. 验证:

java -version

 

二. Python3.6安装:

1. 安装步骤(略)

2. 验证:

python --version

pip3 --version

 

三. scala安装:

1. 安装步骤:

下载地址:https://www.scala-lang.org/download/

下载scala-2.13.1.msi版本,点击安装

注意:scala的安装目录不能有空格,所以不能安装到默认的 program profile 目录下。

2. 验证:

scala -version

 

四. spark安装:

1. 安装步骤:

下载地址:https://spark.apache.org/downloads.html

2. 配置环境变量:

配置SPARK_HOME

添加path:%SPARK_HOME%\bin;%SPARK_HOME%\sbin;

3. 验证:

pyspark

(会报winutils错误)

 

五. hadoop配置(不配置会报winutils错误)

1.  配置步骤:

建一个{path}\hadoop\bin目录

下载地址:https://github.com/steveloughran/winutils/releases/download/tag_2017-08-29-hadoop-2.8.1-native/hadoop-2.8.1.zip

将文件内容拷贝到{path}\hadoop\bin中。

2. 配置环境变量:

配置HADOOP_HOME

添加path:%HADOOP_HOME%\bin

3. 验证:

pyspark

(不会报错)

 

六. 安装jupyter:

安装步骤:

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple jupyter

启动:

jupyter notebook --ip 0.0.0.0

以下为远程访问方式:

获取带token的链接:
jupyter notebook list

复制链接,将0.0.0.0替换为实际ip,到浏览器登陆。

 

七. 其他包:

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple findspark

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple sklearn

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple matplotlib