摘要：
缺交： https://www.cnblogs.com/123wen/p/14856373.html 03Spark RDD编程基础 https://www.cnblogs.com/123wen/p/14856364.html 07 Spark RDD编程 综合实例 英文词频统计 https://w 阅读全文
posted @ 2021-06-06 21:07
123wen
阅读(33)
评论(0)
推荐(0)
摘要：
准备文本文件 从文件创建RDD lines=sc.textFile() 筛选出含某个单词的行 lines.filter() lambda 参数：条件表达式 生成单词的列表 从列表创建RDD words=sc.parallelize() 筛选出长度大于10 的单词 words.filter() 阅读全文
posted @ 2021-06-06 20:51
123wen
阅读(27)
评论(0)
推荐(0)
摘要：
>>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... else:... dd[word] = dic[word] + 1...>>> ss = sorted( 阅读全文
posted @ 2021-06-06 20:50
123wen
阅读(32)
评论(0)
推荐(0)
摘要：
1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8E 阅读全文
posted @ 2021-06-06 20:48
123wen
阅读(25)
评论(0)
推荐(0)
摘要：
读学生课程分数文件chapter4-data01.txt，创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生？ 总共开设了哪些课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程大于95分的学生人数？ Tom选修了几门课？每 阅读全文
posted @ 2021-06-06 20:43
123wen
阅读(46)
评论(0)
推荐(0)
浙公网安备 33010602011771号