2.安装Spark与Python练习

一、安装Spark

1. 检查基础环境hadoop,jdk

   

2. 下载spark
   曾经下载过，已完成
3. 解压，文件夹重命名、权限
   曾经已完成
   

    

    
4. 配置文件

   vim /usr/local/spark/conf/spark-env.sh

   

5. 环境变量

   vim ~/.bashrc

   

    
6. 试运行Python代码

　　　 

二、Python编程练习：英文文本的词频统计

1. 准备文本文件
   
2. 读文件
3. 预处理：大小写，标点符号，停用词
4. 分词
5. 统计每个单词出现的次数
6. 按词频大小排序
7. 结果写文件

　　   

　　8.运行结果：