一、 RDD创建
1.从本地文件系统中加载数据创建RDD
2.从HDFS加载数据创建RDD
2.1启动hdfs
2.2上传文件
2.3查看文件
2.4加载
2.5停止hdfs
3. 通过并行集合(列表)创建RDD
输入列表
字符串
numpy生成数组
二、 RDD操作
转换操作
- filter(func)
显式定义函数
lambda函数
- map(func)
显式定义函数
lambda函数
a字符串分词
b数字加100
c字符串加固定前缀
3.flatMap(func)
a.分词
b.单词映射成键值对
4.reduceByKey()
a.统计词频,累加
b.乘法规则
5.groupByKey()
a.单词分组
b.查看分组的内容
c.分组之后做累加 map
6.sortByKey()
a.词频统计按单词排序
7.sortBy()
a.词频统计按词频排序
8.RDD写入文本文件
a.写入本地文件系统,并查看结果
b.写入分布式文件系统,并查看结果
行动操作
1.foreach(print)
foreach(lambda a:print(a.upper())
2.collect()
3.count()
4.take(n)
5.reduce()
数值型的rdd元素做累加
与reduceByKey区别