2.安装Spark与Python练习

一、安装Spark

1. 检查基础环境hadoop,jdk
2. 下载spark
3. 解压，文件夹重命名、权限
4. 配置文件
5. 环境变量
6. 试运行Python代码

 

1.检查基础环境hadoop,jdk

结果：

 

 

 2.下载spark

 

 

 3.解压，文件重命名，权限

$ cd ~/下载
$ sudo tar -zxf ~/下载/spark-2.4.0-bin-without-hadoop.tgz -C /usr/local/ #解压
$ cd /usr/local
$ sudo mv ./spark-2.4.0-bin-without-hadoop/ ./spark # 更改文件夹名
$ sudo chown -R hadoop ./spark # 修改文件夹权限，此处的 hadoop 为系统用户名

4.配置文件

5.环境变量

结果：

6.试运行python代码

 

 二、Python编程练习：英文文本的词频统计

 1.准备文件：

 

 

 

2.读文件：

 

 

3.编写Python文件：

 

 

4.运行结果