安装Spark与Python练习

一、安装Spark

  1. 检查基础环境hadoop,jdk
  2. 下载spark
  3. 解压,文件夹重命名、权限
  4. 配置文件
    1. 2.

  5. 环境变量
    1.   

       

  6. 试运行Python代码  
    1.   

      二、Python编程练习:英文文本的词频统计

      1. 准备文本文件
      2. 读文件
      3. 预处理:大小写,标点符号,停用词
      4. 分词
      5. 统计每个单词出现的次数
      6. 按词频大小排序
      7. 结果写文件
       结果截图:
      1.  

         

      2. 运行代码
        1.   
          import string
          from os import path
          with open(r'H:\大三\大数据实操\实验二\123.txt','rb') as input_text:
          words = [word.strip(string.punctuation).lower() for word in str(input_text.read()).split()]
          words_index = set(words)
          count_dict = {index:words.count(index) for index in words_index}
          with open(r'H:\大三\大数据实操\实验二\123.txt','a+') as output_text:
          output_text.writelines('词频统计的结果为:' + '\n')
          for word in sorted(count_dict,key=lambda x:count_dict[x],reverse=True):
          output_text.writelines('{}--{} times'.format(word,count_dict[word]) + '\n')
          input_text.close()
          output_text.close()
posted @ 2022-03-06 20:02  fdmlqy  阅读(33)  评论(0编辑  收藏  举报