pyspark的用法

pyspark -h 查看用法

pyspark -h

Usage: pyspark [options]

常见的[options] 如下表：

输入pyspark -h 查看各参数的定义

查看sc变量

• 不指定--master时

  pyspark
  (查看sc变量)
  sc

• 指定--master时

  pyspark --master spark://node1:7077
  (查看sc变量)
  sc

用pyspark开发一个WordCount程序

输入下面的代码并运行（路径根据情况修改）。

• 在本地创建一个文件：/home/hadoop/252/input/data.txt (hadoop是本地用户名，252表示文件名，两个值请根据情况修改)。此路径也可以换为hdfs的路径。

  data.txt文件中的内容是：

  a good beginning is half the battle

  where there is a will there is a way

• 一行代码实现WordCount

  sc.textFile("/home/hadoop/252/input/data.txt").flatMap(lambda line: line.split(" ")).map(lambda word : (word,1)).reduceByKey(lambda x,y : x+y).saveAsTextFile("/home/hadoop/252/output/0222")

• 多行代码实现WordCount（单步）

  rdd1 = sc.textFile("/home/hadop/252/input/data.txt") #延时读取数据
  rdd1.collect() #查看结果(列表方式)

rdd2 = rdd1.flatMap(lambda line: line.split(" ")) #将每句话进行分词，再整合到一个列表
rdd2.collect() #查看结果(列表方式)

rdd3 = rdd2.map(lambda word : (word,1)) #每个单词记一次数，将单词和1构成元组
rdd3.collect() #查看结果(列表方式)

rdd4 = rdd3.reduceByKey(lambda x,y:x+y) #再将value进行累加，把相同的Key的value进行累加
rdd4.collect() #查看结果(列表方式)

rdd4.saveAsTextFile("/home/hadoop/252/output/0333") #保存到指定目录，此目录预先不能存在

最后，输出查看目录中的内容