摘要：用Pyspark自主实现词频统计过程。 hadoop@dblab-VirtualBox:~$ pysparkPython 3.5.1+ (default, Mar 30 2016, 22:46:26) [GCC 5.3.1 20160330] on linuxType "help", "copyri 阅读全文

摘要：总共有多少学生？map(), distinct(), count() 开设了多少门课程？ 每个学生选修了多少门课？map(), countByKey() 每门课程有多少个学生选？map(), countByValue() Tom选修了几门课？每门课多少分？filter(), map() RDD To 阅读全文

摘要：备注：和周维渊一起完成的 课堂上的txt文档没有拷贝下来，所以只能自己创建文档。 一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6. 阅读全文