安装Spark与Python练习

  1. 检查基础环境hadoop,jdk                                       
  2. 解压,文件夹重命名、权限                                              
  3.  

     更改配置文件

  4. 更改环境变量                                                                                                                                                                                                                                  
  5.           gedit ~/.bashrc
    1. export SPARK_HOME=/usr/local/spark

    2. export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.9-src.zip:PYTHONPATH

    3. export PYSPARK_PYTHON=python3

    4. export PATH=$PATH:$SPARK_HOME/bin

  6. 试运行Python
  7.  用python编写英文文本的词频统计程序 

    1.  程序源代码                                       
    2. 运行结果                                               

       

       

posted @ 2022-03-02 10:56  LYH2022  阅读(76)  评论(0)    收藏  举报