摘要：
https://www.cnblogs.com/xiaolongs/p/14854158.html 04 - RDD编程练习 原因 ：晚上学习python错过了提交时间 https://www.cnblogs.com/xiaolongs/p/14854164.html 05 - RDD练习：词频统计 阅读全文
posted @ 2021-06-05 23:42
张先森-
阅读(62)
评论(0)
推荐(0)
摘要：
07 从RDD创建DataFrame 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 Pandas Spark 工作方式 单机s 阅读全文
posted @ 2021-06-05 23:19
张先森-
阅读(76)
评论(0)
推荐(0)
摘要：
RDD练习：词频统计 一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKe 阅读全文
posted @ 2021-06-05 23:16
张先森-
阅读(52)
评论(0)
推荐(0)
摘要：
RDD编程练习 一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.练习一的生成单词键值对 最后相关文件已经保存。 阅读全文
posted @ 2021-06-05 23:15
张先森-
阅读(28)
评论(0)
推荐(0)
浙公网安备 33010602011771号