摘要: 大作业: 1.选择使用什么数据,有哪些字段,多大数据量。 美国新冠肺炎疫情数据集,字段:累计确诊人数、累计死亡人数、新增确诊人数、新增死亡人数、各州累计确诊人数、各州累计死亡人数和美国各州 2.准备分析哪些问题?(8个以上) 美国每日的累计确诊病例数和死亡数 美国每日的新增确诊病例数 美国每日的新增 阅读全文
posted @ 2021-06-06 14:31 隔壁老尤 阅读(30) 评论(0) 推荐(0) 编辑
摘要: 1、安装启动检查Mysql服务。 mysql -u root -p 2、spark 连接mysql驱动程序。 pyspark \ > --jars /usr/local/spark/jars/mysql-connector-java-8.0.25.jar \ > --driver-class-pat 阅读全文
posted @ 2021-05-29 22:46 隔壁老尤 阅读(31) 评论(0) 推荐(0) 编辑
摘要: 读学生课程分数文件chapter4-data01.txt,创建DataFrame。 >>> url = "file:///usr/local/spark/mycode/rdd/chapter4-data01.txt" >>> rdd = spark.sparkContext.textFile(url 阅读全文
posted @ 2021-05-19 20:46 隔壁老尤 阅读(39) 评论(0) 推荐(0) 编辑
摘要: 0.前次作业:从文件创建DataFrame 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() >>> import pandas as pd >>> import numpy as np 阅读全文
posted @ 2021-05-13 00:00 隔壁老尤 阅读(19) 评论(0) 推荐(0) 编辑
摘要: 1.Spark SQL出现的 原因是什么? 答:Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。简而言之,sparkSQL是Spark的前身,是在Hadoop发展过程中,为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。 2.用spark.read 阅读全文
posted @ 2021-05-09 14:34 隔壁老尤 阅读(30) 评论(0) 推荐(0) 编辑
摘要: 一、词频统计: 1.读文本文件生成RDD lines >>> lines = sc.textFile('file:///home/hadoop/word.txt') 2.将一行一行的文本分割成单词 words flatmap() >>> words=lines.flatMap(lambda line 阅读全文
posted @ 2021-04-17 16:58 隔壁老尤 阅读(31) 评论(0) 推荐(0) 编辑
摘要: import operator import os #打开文件 speech_text='' try: f = open(os.path.abspath('text.txt'),'r') speech_text = f.read() f.close() except: print("File Ope 阅读全文
posted @ 2021-04-09 15:38 隔壁老尤 阅读(16) 评论(0) 推荐(0) 编辑
摘要: 一、词频统计: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() lines=sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt") words = lines.flatMa 阅读全文
posted @ 2021-04-05 13:29 隔壁老尤 阅读(58) 评论(0) 推荐(0) 编辑
摘要: 一、filter,map,flatmap练习: 1.读文本文件生成RDD lines: lines=sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt") 2.将一行一行的文本分割成单词 words: words = lines.flat 阅读全文
posted @ 2021-03-30 11:57 隔壁老尤 阅读(30) 评论(0) 推荐(0) 编辑
摘要: 1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数:条件表达式 lines = sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt") lines 阅读全文
posted @ 2021-03-28 14:36 隔壁老尤 阅读(39) 评论(0) 推荐(0) 编辑