贴贴贴贴

摘要： 1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 原因：SparkSQL的前身Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All的既定方针，制约了Spark各个组件的相互集成，所以 阅读全文

摘要： 集合运算练习 union()， intersection()，subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件，签到日期汇总，出勤次数统计 三、综合练习： 阅读全文

摘要： 一、词频统计 A. 分步骤实现 1、准备文件 （1）下载小说或长篇新闻稿 （2）上传到hdfs上 2、读文件创建RDD 3、分词 4、排除大小写lower()，map() 标点符号re.split(pattern,str)，flatMap(), 停用词,可网盘下载stopwords.txt,filt 阅读全文

摘要： 一、 RDD创建 二、 RDD操作 1、filter(func) 2、map(func) a字符串分词: b数字加100: c客串加固定前缀: 3、flatMap(func) a分词: b单词映射成键值对: 4、reduceByKey() a统计词频，累加： b乘法规则: 5、 groupByKey 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark生态系统图： 各组件的功能： Spark Core： Spark核心组件，它实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark C 阅读全文

摘要： 一、安装Spark 1.检查基础环境hadoop，jdk 二、Python编程练习：英文文本的词频统计 f1文本文件 There are moments in life when you miss someone so much that you just want to pick them fro 阅读全文

摘要： 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 答：主要的核心组件有HDFS和MapReduce，其他还包括ZooKeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件 HDFS：HDFS具有很好的容 阅读全文