摘要：
1.选择使用什么数据，有哪些字段，多大数据量。 用kaggle提供的美国疫情数据 2.准备分析哪些问题，可视化方式？（8个以上） (1). 统计美国截止每日的累计确诊人数和累计死亡人数。做法是以date作为分组字段，对cases和deaths字段进行汇总统计。 (2). 统计美国每日的新增确诊人数和 阅读全文
摘要：
三、spark连接mysql数据库 安装启动检查Mysql服务。netstat -tunlp (3306) spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/j 阅读全文
摘要：
读学生课程分数文件chapter4-data01.txt，创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生？ 总共开设了哪些课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程大于95分的学生人数？ Tom选修了几门课？每 阅读全文
摘要：
1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8E 阅读全文
摘要：
1.Spark SQL出现的 原因是什么? Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD)，Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrame API和Data 阅读全文
摘要：
1. 用Pyspark自主实现词频统计过程。 2. 并比较不同计算框架下编程的优缺点、适用的场景。 –Python –MapReduce –Hive –Spark 1.python Python 特点：面向对象 Python 既支持面向过程编程，也支持面向对象编程。在“面向过程”的语言中（如 C 语 阅读全文
摘要：
二、学生课程分数案例 总共有多少学生？map(), distinct(), count() 开设了多少门课程？ 每个学生选修了多少门课？map(), countByKey() 每门课程有多少个学生选？map(), countByValue() Tom选修了几门课？每门课多少分？filter(), m 阅读全文
摘要：
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 阅读全文
摘要：
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 阅读全文
摘要：
1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数：条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() 阅读全文