安装Spark与Python练习
- 检查基础环境hadoop,jdk
- 解压,文件夹重命名、权限
-
更改配置文件
- 更改环境变量 gedit ~/.bashrc
-
export SPARK_HOME=/usr/local/spark
-
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.9-src.zip:PYTHONPATH
-
export PYSPARK_PYTHON=python3
-
export PATH=$PATH:$SPARK_HOME/bin
- 试运行Python
-
用python编写英文文本的词频统计程序
- 程序源代码
- 运行结果
- 程序源代码