摘要： 大作业： 1.选择使用什么数据，有哪些字段，多大数据量。 选择使用2020/1/21到2020/5/19这段时间的美新冠数据进行分析，字段有date（日期）、county（县）、state（州）、cases（案例）、deaths（死亡人数），数据量为158981条数据。 2.准备分析哪些问题？（8个 阅读全文

摘要： 一、spark连接mysql数据库 1.安装启动检查Mysql服务。　netstat -tunlp (3306) 2.spark 连接mysql驱动程序。　–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/s 阅读全文

摘要： 读学生课程分数文件chapter4-data01.txt，创建DataFrame： 一、用DataFrame的操作或SQL语句完成以下数据分析要求，并和用RDD操作的实现进行对比： 1.每个分数+5分。 2.总共有多少学生？ 3.总共开设了哪些课程？ 4.每个学生选修了多少门课？ 5.每门课程有多少 阅读全文

摘要： 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8E 阅读全文

摘要： 1.Spark SQL出现的 原因是什么? Shark是Spaek SQL的前身，Shark提供了类似于Hive的功能，与Hive不同的是，Shark把SQL语句转换成Spark作业，而不是MapReduce作业，Shark的设计导致了两个问题：（1）执行计划优化完全依赖于Hive，不便于添加新的优 阅读全文

摘要： 一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 8.按字母顺序 阅读全文

摘要： 一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 阅读全文

摘要： 一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 1.练习一的生成单词键值对 2.对单词进行分组 3.查看分组结果 学生科目成绩 阅读全文

摘要： 1. 准备文本文件： 从文件创建RDD lines=sc.textFile()： 筛选出含某个单词的行 lines.filter()，lambda 参数：条件表达式： 2. 生成单词的列表： 从列表创建RDD words=sc.parallelize()： 筛选出长度大于2 的单词 words.fi 阅读全文

摘要： 1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 Hadoop分布式文件系统（HDFS）是针对谷歌分布式文件系统的开源实现，它是Hadoop两大核心组成部分之一，提供了在廉价服务器集群中进行大规模分布 阅读全文