06 2021 档案

摘要：05 RDD练习：词频统计，学习课程分数 一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频  阅读全文

摘要：一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.练习一的生成单词键值对 阅读全文

摘要：1. 为什么要引入Yarn和Spark。 Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管 阅读全文

摘要：缺交： https://www.cnblogs.com/hhs7/p/14856228.html 02 Spark架构与运行流程 缺交原因：忘了 https://www.cnblogs.com/hhs7/p/14856231.html 04 RDD编程练习 缺交原因：忘了 https://www.c 阅读全文