会员
周边
新闻
博问
AI培训
云市场
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
DZZZZZ
博客园
|
首页
|
新随笔
|
新文章
|
联系
|
订阅
|
管理
2021年6月7日
10 期末大作业
摘要: 补交: 1.https://www.cnblogs.com/lxw708866064/p/14860300.html 第1次作业 原因:当时注册账号后 因为手机号不能登陆而导致错过交作业时间 2.https://www.cnblogs.com/lxw708866064/p/14860304.html
阅读全文
posted @ 2021-06-07 20:18 DZZZZZ
阅读(28)
评论(0)
推荐(0)
编辑
09 spark连接mysql数据库
摘要: 1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysql
阅读全文
posted @ 2021-06-07 19:59 DZZZZZ
阅读(26)
评论(0)
推荐(0)
编辑
08 学生课程分数的Spark SQL分析
摘要: 读学生课程分数文件chapter4-data01.txt,创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生? 总共开设了哪些课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程大于95分的学生人数? Tom选修了几门课?每
阅读全文
posted @ 2021-06-07 19:56 DZZZZZ
阅读(35)
评论(0)
推荐(0)
编辑
05 RDD练习:词频统计
摘要: 一、词频统计: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分
阅读全文
posted @ 2021-06-07 19:55 DZZZZZ
阅读(28)
评论(0)
推荐(0)
编辑
04 RDD编程练习
摘要: 一、filter,map,flatmap练习: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果
阅读全文
posted @ 2021-06-07 19:54 DZZZZZ
阅读(34)
评论(0)
推荐(0)
编辑
02 Spark架构与运行流程
摘要: 一、简述Spark生态系统。 答:Spark 生态系统以Spark Core 为核心,能够读取传统文件(如文本文件)、HDFS、Amazon S3、Alluxio 和NoSQL 等数据源,利用Standalone、YARN 和Mesos 等资源调度管理,完成应用程序分析与处理。这些应用程序来自Spa
阅读全文
posted @ 2021-06-07 19:53 DZZZZZ
阅读(91)
评论(0)
推荐(0)
编辑
01 大数据概述
摘要: 1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中,HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车:HDFS对应于GFS,即分布式文件系统,MapReduce即并行计算框架,HBase对应于
阅读全文
posted @ 2021-06-07 19:52 DZZZZZ
阅读(75)
评论(0)
推荐(0)
编辑
2021年4月22日
07
摘要: >>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... else:... dd[word] = dic[word] + 1...>>> ss = sorted(
阅读全文
posted @ 2021-04-22 21:10 DZZZZZ
阅读(105)
评论(0)
推荐(0)
编辑
2021年4月12日
06
摘要: 总共有多少学生?map(), distinct(), count() 开设了多少门课程? 每个学生选修了多少门课?map().countByValue() //map(), countByKey() 每门课程有多少个学生选?map(), countByValue() Tom选修了几门课?每门课多少分
阅读全文
posted @ 2021-04-12 21:57 DZZZZZ
阅读(23)
评论(0)
推荐(0)
编辑
2021年3月28日
03 Spark RDD编程基础
摘要: 1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数:条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter()
阅读全文
posted @ 2021-03-28 20:52 DZZZZZ
阅读(29)
评论(0)
推荐(0)
编辑
公告