翔云cxx

摘要： 1.Spark SQL出现的 原因是什么? Hive是Shark的前身，Shark是SparkSQL的前身,Spark SQL产生的根本原因是其完全脱离了Hive的限制。 特点： 引入了新的RDD类型SchemaRDD，可以像传统数据库定义表一样来定义SchemaRDD。 在应用程序中可以混合使用不 阅读全文

摘要： 补交第6次作业： 6.Spark SQL 及其DataFrame的基本操作 - 翔云cxx - 博客园 (cnblogs.com) 大作业： 1.选择使用什么数据，有哪些字段，多大数据量。 选用kaggle提供的美国疫情数据 有五个字段：date county state cases deaths 阅读全文

摘要： spark连接mysql数据库 安装启动检查Mysql服务。netstat -tunlp (3306) spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/ja 阅读全文

摘要： 用DataFrame的操作或SQL语句完成以下数据分析要求，并和用RDD操作的实现进行对比： 每个分数+5分。 2.总共有多少学生？ 3.总共开设了哪些课程？ 4.每个学生选修了多少门课？ 5.每门课程有多少个学生选？ 6.每门课程大于95分的学生人数？ 7.Tom选修了几门课？每门课多少分？ 8. 阅读全文

摘要： 1.pandas df 与 spark df的相互转 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8Ep 阅读全文

摘要： 一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 8.按字母顺序排序 sortBy(f) 9.按词频排序 sortBy 阅读全文

摘要： 一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分数 groupByKey() -- 按课程汇总全总学生 阅读全文

摘要： 一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 学生科目成绩 阅读全文

摘要： 1. 准备文本文件 从文件创建RDD lines=sc.textFile() 筛选出含某个单词的行 lines.filter()lambda 参数：条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize() 筛选出长度大于3 的单词 words.filter() 阅读全文

摘要： 1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 答: HDFS是hadoop的核心组件之一，分布式存储海量的数据； MapReduce也是hadoop的核心组件之一，分布式计算数据，将计算抽象成Ma 阅读全文