2.安装Spark与Python练习

一、安装Spark

1. 检查基础环境hadoop,jdk                                                                                                                                      

    

2. 下载spark
3. 解压，文件夹重命名、权限
4. 配置文件                                                                                                                  

    

    

5. 环境变量                                                                                                                                       

    

    

6.     试运行Python代码                                                                                                                

    

   

   二、Python编程练习：英文文本的词频统计

   1. 准备文本文件
   2. 读文件
   3. 预处理：大小写，标点符号，停用词
   4. 分词
   5. 统计每个单词出现的次数
   6. 按词频大小排序
   7. 结果写文件