摘要：
总共有多少学生？ 2、总共开设了多少门课程？ 3、每个学生选修了多少门课？ 4、每门课程有多少个学生选？ 5、每门课程>95分的学生人数 6、课程'Python'有多少个100分？ 7、Tom不及格的课程数？ 8、Tom的成绩按分数大小排序。 9、Tom选修了哪几门课？ 10、Tom的平均分。 11 阅读全文
摘要：
1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 ->SparkSQL的前身Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All的既定方针，制约了Spark各个组件的相互集成，所以提出 阅读全文
摘要：
集合运算练习 union()， intersection()，subtract(), cartesian() 三、学生课程分数 网盘下载sc.txt文件，通过RDD操作实现以下数据分析: 持久化 stu.cache() 总共有多少学生？map(), distinct(), count() 开设了多少 阅读全文
摘要：
准备文件,上传到hdfs上 读文件创建RDD 分词 排除大小写，标点符号 统计词频 排序 输出到文件 查看结果 B.一句话实现 二TOP值 新建txt文件，将文件传上hdfs 对文件进行分词、去标点操作 将金额映射成键值对，注意values值为int类型 对键值对进行累加统计、排序 输出文件 查看结 阅读全文
摘要：
1、从本地文件系统中加载数据创建RDD 2、从HDFS加载数据创建RDD HDFS加载数据创建RDD 停止hdfs 3、通过并行集合（列表）创建RDD、输入列表、字符串、生成数组 2. RDD操作 1.转换操作 （1）filter(func) （2）map(func) (3)flatMap(func 阅读全文
摘要：
1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 2、请详细阐述Spark的几个主要概念及相互关系 Master, Worker; RDD,DAG; Application, job,stage,task; driver,execut 阅读全文
摘要：
1检查基础环境hadoop,jdk 2配置 3试运行python代码 二python编程练习： 准备文本文件：world.txt 读文件,预处理：大小写，标点符号，停用词,分词 main.py with open("Under the Red Dragon.txt", "r") as f: text 阅读全文
摘要：
大数据概述 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 1.HDFS 分布式文件系统 Hadoop分布式文件系统HDFS是针对谷歌分布式文件系统（Google File System,GFS）的开源实现，它是Hadoop两大核心组成部分之一，提供 阅读全文