安装Spark与Python练习

一、安装Spark

1. 检查基础环境hadoop,jdk
2. 下载spark
3. 解压，文件夹重命名、权限
4. 配置文件
5. 环境变量
6. 试运行Python代码

   

   

   

   

   

   二、Python编程练习：英文文本的词频统计

   1. 准备文本文件
   2. 读文件
   3. 预处理：大小写，标点符号，停用词
   4. 分词
   5. 统计每个单词出现的次数
   6. 按词频大小排序
   7. 结果写文件