摘要: 1.选用美国新冠数据集,变量有日期(date),县(county), 国家、州(state),确诊情况(cases),死亡人数(deaths); 2. 美国确诊人数最多的县,统计死亡人数最多州,美国确诊人数最少的州,5.19日为止死亡人数最少的前十个州,5.19美国确诊人数最多的前十个州,美国一个县 阅读全文
posted @ 2021-06-07 21:59 儒雅随和的t君 阅读(23) 评论(0) 推荐(0) 编辑
摘要: 1.安装启动检查Mysql服务。 netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysq 阅读全文
posted @ 2021-05-31 21:04 儒雅随和的t君 阅读(32) 评论(0) 推荐(0) 编辑
摘要: 读学生课程分数文件chapter4-data01.txt,创建DataFrame。 用DataFrame的操作或SQL语句完成以下数据分析要求,并和用RDD操作的实现进行对比: 每个分数+5分。 总共有多少学生? 总共开设了哪些课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程大于 阅读全文
posted @ 2021-05-20 20:56 儒雅随和的t君 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() (1)导入对应的包 (2)随机生成一个三维数组(0-10) (3)df_s=spark.createDataFrame(df_p) (4 阅读全文
posted @ 2021-05-14 20:29 儒雅随和的t君 阅读(17) 评论(0) 推荐(0) 编辑
摘要: 一,Spark SQL出现的 原因是什么? SparkSQL抛弃原有Shark的代码,汲取了Shark的一些优点,如内存列存储(In-Memory Columnar Storage)、Hive兼容性等,重新开发了SparkSQL代码; 由于摆脱了对hive的依赖性,SparkSQL无论在数据兼容、性 阅读全文
posted @ 2021-05-10 20:46 儒雅随和的t君 阅读(30) 评论(0) 推荐(0) 编辑
摘要: 一、词频统计: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6. 转换成键值对 map() 读大学计算机系的成绩数据集生成RDD 分解出字段 生成键值对 map() 7.统计词频 reduceByKe 阅读全文
posted @ 2021-04-18 20:26 儒雅随和的t君 阅读(17) 评论(0) 推荐(0) 编辑
摘要: 二、学生课程分数 groupByKey() -- 按课程汇总全总学生和分数 1. 分解出字段 map() 2. 生成键值对 map() 3. 按键分组 4. 输出汇总结果 读大学计算机系的成绩数据集生成RDD 分解出字段 生成键值对 map() 按键分组 输出汇总结果 阅读全文
posted @ 2021-04-05 20:37 儒雅随和的t君 阅读(19) 评论(0) 推荐(0) 编辑
摘要: 一、filter,map,flatmap练习: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.生成单词键值对 7.对单词分组 8.查看分组结果 学生科目成绩文件练习: 阅读全文
posted @ 2021-03-31 20:43 儒雅随和的t君 阅读(12) 评论(0) 推荐(0) 编辑
摘要: 1.准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数:条件表达式 2.生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() 3.筛选出 阅读全文
posted @ 2021-03-27 23:55 儒雅随和的t君 阅读(17) 评论(0) 推荐(0) 编辑
摘要: spark RDD 编程 1.准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数:条件表达式 2.生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.f 阅读全文
posted @ 2021-03-27 12:52 儒雅随和的t君 阅读(28) 评论(0) 推荐(0) 编辑