kk020306

摘要： 1.选择使用什么数据，有哪些字段，多大数据量。 选用美国新冠数据集，变量有日期（date），县（county）， 国家、州（state），确诊情况（cases），死亡人数（deaths），共158981条数据。 2.准备分析哪些问题？（8个以上） (1) 统计美国截止每日的累计确诊人数和累计死亡人数 阅读全文

摘要： spark连接mysql数据库 1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark 阅读全文

摘要： RDD 编程练习 一、filter, map, flatmap 练习： 1. 读文本文件生成 RDD lines >>> lines=sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt") 2. 将一行一行的文本分割成单词 words > 阅读全文

摘要： 06 Spark SQL 及其DataFrame的基本操作 1.Spark SQL出现的 原因是什么? 由于MapReduce这种计算模型执行效率比较慢，所以Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快，同时Spark SQL也支持从Hive 阅读全文

摘要： 从RDD创建DataFrame 07 1.pandas df 与 spark df的相互转 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806. 阅读全文

摘要： 08 学生课程分数的Spark SQL分析 一. 读学生课程分数文件chapter4-data01.txt，创建DataFrame。 1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 用DataFrame的操作或SQL语句完成以下数据分析要求，并和用RDD操作的实现 阅读全文

摘要： 一、词频统计： 读文本文件生成RDD lines 将一行一行的文本分割成单词 words flatmap() 全部转换为小写 lower() 去掉长度小于3的单词 filter() 去掉停用词 转换成键值对 map() 统计词频 reduceByKey() 按字母顺序排序 sortBy(f) 按词频 阅读全文

摘要： 一、词频统计： 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/file') lines.collect() 2.将一行一行的文本分割成单词 words flatmap() words=lines.flatMap(lambda 阅读全文

摘要： 05 RDD编程 一、词频统计 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 阅读全文

摘要： 一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 学生科目成绩 阅读全文