摘要：
1.Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD)，Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrame API和Data 阅读全文
posted @ 2021-05-27 21:43
''''''''''''''
阅读(140)
评论(0)
推荐(0)
摘要：
学生课程分数案例 总共有多少学生？map(), distinct(), count() 开设了多少门课程？ 每个学生选修了多少门课？map(), countByKey() 每门课程有多少个学生选？map(), countByValue() Tom选修了几门课？每门课多少分？filter(), map 阅读全文
posted @ 2021-05-27 21:42
''''''''''''''
阅读(102)
评论(0)
推荐(0)
摘要：
1、为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1）使用mapreduce进行批量离线分析； 2）使用hive进行历史数据的分析； 3）使用hbase进行实时数据的查询； 4）使用storm进行实时的流处理； (2)选用spark的原因 1） 应用于流式计算的S 阅读全文
posted @ 2021-05-27 21:41
''''''''''''''
阅读(140)
评论(0)
推荐(0)
摘要：
读学生课程分数文件chapter4-data01.txt，创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生？ 总共开设了哪些课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程大于95分的学生人数？ Tom选修了几门课？每 阅读全文
posted @ 2021-05-27 20:20
''''''''''''''
阅读(76)
评论(0)
推荐(0)
浙公网安备 33010602011771号