摘要：
大作业： 1.选择使用什么数据，有哪些字段，多大数据量。 数据：us-counties美新冠数据 字段：日期、国家、洲、病例、死亡数 2.准备分析哪些问题，可视化方式？（8个以上） (1). 统计美国截止每日的累计确诊人数和累计死亡人数。做法是以date作为分组字段，对cases和deaths字段进 阅读全文
摘要：
[root@localhost ~]# netstat -tunlp 3306Active Internet connections (only servers)Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program n 阅读全文
摘要：
[root@localhost ~]# pysparkPython 3.8.3 (default, May 10 2021, 17:05:21) [GCC 8.3.1 20191121 (Red Hat 8.3.1-5)] on linuxType "help", "copyright", "cre 阅读全文
摘要：
1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 Pandas Spark 工作方式 单机single machine tool， 阅读全文
摘要：
1.Spark SQL出现的 原因是什么? Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。简而言之，sparkSQL是Spark的前身，是在Hadoop发展过程中，为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。sparkSQL提供了一个称为Da 阅读全文
摘要：
用Pyspark自主实现词频统计过程。 hadoop@dblab-VirtualBox:~$ pysparkPython 3.5.1+ (default, Mar 30 2016, 22:46:26) [GCC 5.3.1 20160330] on linuxType "help", "copyri 阅读全文
摘要：
总共有多少学生？map(), distinct(), count() 开设了多少门课程？ 每个学生选修了多少门课？map(), countByKey() 每门课程有多少个学生选？map(), countByValue() Tom选修了几门课？每门课多少分？filter(), map() RDD To 阅读全文
摘要：
备注：和周维渊一起完成的 课堂上的txt文档没有拷贝下来，所以只能自己创建文档。 一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6. 阅读全文
摘要：
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.练习一的生成单词键值对 最后相关文件已经保存。 阅读全文
摘要：
1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数：条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() 阅读全文