yybooker

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

一、 RDD创建

1.从本地文件系统中加载数据创建RDD

 

 

2.从HDFS加载数据创建RDD

3.启动hdfs

4.上传文件

5.查看文件

6.加载

7.停止hdfs

 

8.通过并行集合(列表)创建RDD

输入列表、字符串、numpy生成数组

二、 RDD操作

转换操作

1.map(func)
显式定义函数

lambda函数

2.filter(func)
lambda函数

显式定义函数

 

3.行动操作

foreach(print)

collect()

posted on 2022-03-21 18:38  yybooker  阅读(39)  评论(0)    收藏  举报