隔壁老尤

摘要： 大作业： 1.选择使用什么数据，有哪些字段，多大数据量。 美国新冠肺炎疫情数据集，字段：累计确诊人数、累计死亡人数、新增确诊人数、新增死亡人数、各州累计确诊人数、各州累计死亡人数和美国各州 2.准备分析哪些问题？（8个以上） 美国每日的累计确诊病例数和死亡数 美国每日的新增确诊病例数 美国每日的新增 阅读全文

摘要： 1、安装启动检查Mysql服务。 mysql -u root -p 2、spark 连接mysql驱动程序。 pyspark \ > --jars /usr/local/spark/jars/mysql-connector-java-8.0.25.jar \ > --driver-class-pat 阅读全文

摘要： 读学生课程分数文件chapter4-data01.txt，创建DataFrame。 >>> url = "file:///usr/local/spark/mycode/rdd/chapter4-data01.txt" >>> rdd = spark.sparkContext.textFile(url 阅读全文

摘要： 0.前次作业：从文件创建DataFrame 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() >>> import pandas as pd >>> import numpy as np 阅读全文

摘要： 1.Spark SQL出现的 原因是什么? 答：Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。简而言之，sparkSQL是Spark的前身，是在Hadoop发展过程中，为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。 2.用spark.read 阅读全文

摘要： 一、词频统计： 1.读文本文件生成RDD lines >>> lines = sc.textFile('file:///home/hadoop/word.txt') 2.将一行一行的文本分割成单词 words flatmap() >>> words=lines.flatMap(lambda line 阅读全文

摘要： import operator import os #打开文件 speech_text='' try: f = open(os.path.abspath('text.txt'),'r') speech_text = f.read() f.close() except: print("File Ope 阅读全文

摘要： 一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() lines=sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt") words = lines.flatMa 阅读全文

摘要： 一、filter,map,flatmap练习： 1.读文本文件生成RDD lines: lines=sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt") 2.将一行一行的文本分割成单词 words: words = lines.flat 阅读全文

摘要： 1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数：条件表达式 lines = sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt") lines 阅读全文