摘要：一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 代码：lines = sc.textFile('file:///home/hadoop/word.txt') 2.将一行一行的文本分割成单词 words 代码：words=lines.flatMap(lambda 阅读全文

摘要：1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数：条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() 3. 阅读全文

摘要：1. 为什么要引入Yarn和Spark。 yarn是作业调度和集群资源管理的一个框架，从一定程度上溺化了多计算框架的优劣之争，解决了扩展性差，单点故障以及只能局限于MR计算框架等的问题。在MapReduce时代，很多人评论MapReduce不适合迭代计算和流失计算，于是出现了Spark和Storm等 阅读全文