摘要: 1.准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数:条件表达式 2.生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() 3.筛选出 阅读全文
posted @ 2021-03-27 23:55 儒雅随和的t君 阅读(17) 评论(0) 推荐(0) 编辑
摘要: spark RDD 编程 1.准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数:条件表达式 2.生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.f 阅读全文
posted @ 2021-03-27 12:52 儒雅随和的t君 阅读(29) 评论(0) 推荐(0) 编辑