摘要:
大作业: 1.选择使用什么数据,有哪些字段,多大数据量。 答:us-counties美新冠数据.csv;日期,郡,州,确诊,死亡;约16万条数据。 2.准备分析哪些问题,可视化方式?(8个以上) 答: (1). 统计美国截止每日的累计确诊人数和累计死亡人数。做法是以date作为分组字段,对cases 阅读全文
摘要:
三、spark连接mysql数据库 安装启动检查Mysql服务。netstat -tunlp (3306) spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/j 阅读全文
摘要:
读学生课程分数文件chapter4-data01.txt,创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生? 总共开设了哪些课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程大于95分的学生人数? Tom选修了几门课?每 阅读全文
摘要:
0.前次作业:从文件创建DataFrame 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 答:(1)代码: (2)运行结果: 2. Spark与Pandas中DataFrame对比 阅读全文
摘要:
1.Spark SQL出现的 原因是什么? 答:(1)Shark执行计划优化完全依赖于Hive,不便于添加新的优化策略。 (2)Spark是线程级并行,MapReduce是进程级并行,因此,Spark在兼容Hive的实现上存在线程安全问题,导致Shark不得不使用另外一套独立维护的、打了补丁的Hiv 阅读全文
摘要:
一、词频统计: 读文本文件生成RDD lines 将一行一行的文本分割成单词 words flatmap() 全部转换为小写 lower() 去掉长度小于3的单词 filter() 去掉停用词 转换成键值对 map() 统计词频 reduceByKey() 按字母顺序排序sortByKey() 按词 阅读全文
摘要:
一、词频统计: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 答: (1)文 阅读全文
摘要:
一、filter,map,flatmap练习: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.练习一的生成单词键值对 答: (1)准备文件 (2)生成RDD (3)分割成单词 (4)转换小写 (5) 阅读全文
摘要:
1.准备文本文件,从文件创建RDD lines=sc.textFile(),筛选出含某个单词的行 lines.filter(),lambda 参数:条件表达式 答: (1)准备文件 (2)创建RDD (3)筛选 2.生成单词的列表,从列表创建RDD words=sc.parallelize(),筛选 阅读全文
摘要:
1. 为什么要引入Yarn和Spark。 答:(1)因为Yarn通用资源管理系统可以为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 (2)因为Spark基于内存运算,速度快;支持多语言;通用,可以处理批处理、交互式查询、实时流、机器学习和图计 阅读全文