摘要：
缺交： https://www.cnblogs.com/wcx136102/p/14819917.html 06 RDD基础 缺交原因：忘了 https://www.cnblogs.com/wcx136102/p/14819615.html 08 学生课程分数的Spark SQL分析 缺交原因：忘了 阅读全文
posted @ 2021-06-06 17:11
''''''''''''''
阅读(101)
评论(0)
推荐(0)
摘要：
安装启动检查Mysql服务。netstat -tunlp (3306) spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 启动 Mysql shell 阅读全文
posted @ 2021-06-02 13:26
''''''''''''''
阅读(224)
评论(0)
推荐(0)
摘要：
1.Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD)，Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrame API和Data 阅读全文
posted @ 2021-05-27 21:43
''''''''''''''
阅读(138)
评论(0)
推荐(0)
摘要：
学生课程分数案例 总共有多少学生？map(), distinct(), count() 开设了多少门课程？ 每个学生选修了多少门课？map(), countByKey() 每门课程有多少个学生选？map(), countByValue() Tom选修了几门课？每门课多少分？filter(), map 阅读全文
posted @ 2021-05-27 21:42
''''''''''''''
阅读(99)
评论(0)
推荐(0)
摘要：
1、为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1）使用mapreduce进行批量离线分析； 2）使用hive进行历史数据的分析； 3）使用hbase进行实时数据的查询； 4）使用storm进行实时的流处理； (2)选用spark的原因 1） 应用于流式计算的S 阅读全文
posted @ 2021-05-27 21:41
''''''''''''''
阅读(137)
评论(0)
推荐(0)
摘要：
读学生课程分数文件chapter4-data01.txt，创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生？ 总共开设了哪些课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程大于95分的学生人数？ Tom选修了几门课？每 阅读全文
posted @ 2021-05-27 20:20
''''''''''''''
阅读(75)
评论(0)
推荐(0)
摘要：
总共有多少学生？map(), distinct(), count() 开设了多少门课程？ 每个学生选修了多少门课？map().countByValue() //map(), countByKey() 每门课程有多少个学生选？map(), countByValue() Tom选修了几门课？每门课多少分 阅读全文
posted @ 2021-04-12 19:43
''''''''''''''
阅读(105)
评论(0)
推荐(0)
摘要：
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.练习一的生成单词键值对 阅读全文
posted @ 2021-03-31 16:41
''''''''''''''
阅读(245)
评论(0)
推荐(0)
摘要：
1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数：条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() 阅读全文
posted @ 2021-03-26 21:26
''''''''''''''
阅读(230)
评论(0)
推荐(0)
浙公网安备 33010602011771号