摘要：一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 阅读全文

摘要：1.准备文本文件 从文件创建RDD lines=sc.textFile() 筛选出含某个单词的行 lines.filter() lambda 参数：条件表达式 2. 生成单词的列表 从列表创建RDD words=sc.parallelize() 筛选出长度大于10 的单词 words.filter( 阅读全文

摘要：1、Spark已打造出结构一体化、功能多样化的大数据生态系统，请简述Spark生态系统 Spark的设计遵循“一个软件栈满足不同应用场景”的理念，逐渐形成一套完整生态系统，既能够提供内存计算框架，也可以支持SQL即席查询、实时流式计算、机器学习和图计算等。Spark可以部署在资源管理器YARN之上， 阅读全文

摘要：1.用图表描述Hadoop生态系统的各个组件及其关系。 MapReduce：主要由Google Reduce而来，它简化了大型数据的处理，是一个并行的，分布式处理的编程模型。 YARN的全称是Yet-Another-Resource-Negotiator。Yarn可以运用在S3|Spark等上。ha 阅读全文