安装Spark与Python练习

一、安装Spark

1. 检查基础环境hadoop,jdk

   

    

2. 下载spark

    

3. 解压，文件夹重命名、权限（已安装没有图）
4. 配置文件（已安装没有图）
5. 环境变量（已安装没有图）

6.试运行Python代码

 

 

二、Python编程练习：英文文本的词频统计       

 

       思想

1. 准备文本文件
2. 读文件
3. 预处理：大小写，标点符号，停用词
4. 分词
5. 统计每个单词出现的次数
6. 按词频大小排序
7. 结果写文件

path='/usr/local/spark/wc/f1.txt'
with open(path) as f:
    text=f.read()
words = text.split()
wc={}
for word in words:
    wc[word]=wc.get(word,0)+1
wclist=list(wc.items())
wclist.sort(key=lambda x:x[1],reverse=True)
print(wclist)