2021年6月6日
10 期末大作业
摘要： 02 Spark架构与运行流程 https://www.cnblogs.com/zhengshiguang/p/14854161.html 04 RDD编程练习 https://www.cnblogs.com/zhengshiguang/p/14854166.html 05 RDD练习：词频统计，学 阅读全文
posted @ 2021-06-06 22:06 zack-zheng 阅读(54) 评论(0) 推荐(0)
2021年6月5日
07 从RDD创建DataFrame
摘要： 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8E 阅读全文
posted @ 2021-06-05 23:21 zack-zheng 阅读(24) 评论(0) 推荐(0)
05 RDD练习：词频统计，学习课程分数
摘要： 一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 阅读全文
posted @ 2021-06-05 23:19 zack-zheng 阅读(36) 评论(0) 推荐(0)
04 RDD编程练习
摘要： 一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 阅读全文
posted @ 2021-06-05 23:17 zack-zheng 阅读(27) 评论(0) 推荐(0)
02 Spark架构与运行流程
摘要： 1、Spark已打造出结构一体化、功能多样化的大数据生态系统，请简述Spark生态系统 Spark的设计遵循“一个软件栈满足不同应用场景”的理念，逐渐形成一套完整生态系统，既能够提供内存计算框架，也可以支持SQL即席查询、实时流式计算、机器学习和图计算等。Spark可以部署在资源管理器YARN之上， 阅读全文
posted @ 2021-06-05 23:16 zack-zheng 阅读(94) 评论(0) 推荐(0)
2021年5月29日
spark连接mysql数据库
摘要： spark连接mysql数据库 1、安装启动检查Mysql服务。 netstat -tunlp (3306) 2、spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spa 阅读全文
posted @ 2021-05-29 13:21 zack-zheng 阅读(102) 评论(0) 推荐(0)
2021年5月26日
08 学生课程分数的Spark SQL分析
摘要： 读学生课程分数文件chapter4-data01.txt，创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生？ 总共开设了哪些课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程大于95分的学生人数？ Tom选修了几门课？每 阅读全文
posted @ 2021-05-26 16:33 zack-zheng 阅读(30) 评论(0) 推荐(0)
2021年5月8日
06 Spark SQL 及其DataFrame的基本操作
摘要： 1.Spark SQL出现的 原因是什么? Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。简而言之，sparkSQL是Spark的前身，是在Hadoop发展过程中，为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。sparkSQL提供了一个称为Da 阅读全文
posted @ 2021-05-08 22:47 zack-zheng 阅读(66) 评论(0) 推荐(0)
2021年5月7日
RDD编程1
摘要： 一、词频统计： 读文本文件生成RDD lines将一行一行的文本分割成单词 words flatmap() lines = sc.textFile("file:///home/hadoop/sparkproject/xiaoshuo.txt")words = lines.flatMap(lambda 阅读全文
posted @ 2021-05-07 17:36 zack-zheng 阅读(84) 评论(0) 推荐(0)
2021年4月22日
07 Spark RDD编程 综合实例 英文词频统计
摘要： 1. 用Pyspark自主实现词频统计过程。 >>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... else:... dd[word] = dic[word] 阅读全文
posted @ 2021-04-22 21:02 zack-zheng 阅读(121) 评论(0) 推荐(0)
下一页