会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
山上有风景
周围的人都比你厉害,你才会慢慢变强
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
13
14
15
16
17
18
19
20
21
···
71
下一页
2020年4月4日
SparkCore的调优之资源调优
摘要: 转载自:https://www.cnblogs.com/qingyunzong/p/8973707.html更多调优见其他文章 一:概述 在开发完Spark作业之后,就该为作业配置合适的资源了。 Spark的资源参数,基本都可以在spark-submit命令中作为参数设置。 很多Spark初学者,通
阅读全文
posted @ 2020-04-04 10:17 山上有风景
阅读(219)
评论(0)
推荐(0)
2020年4月3日
SparkCore的调优之Shuffle调优
摘要: https://www.cnblogs.com/ssyfj/p/12615298.html 转载自:https://www.cnblogs.com/qingyunzong/p/8954552.html 一:概述 大多数Spark作业的性能主要就是消耗在了shuffle环节,因为该环节包含了大量的磁盘
阅读全文
posted @ 2020-04-03 23:21 山上有风景
阅读(234)
评论(0)
推荐(0)
SparkCore的调优之数据倾斜调优
摘要: 转载自:https://www.cnblogs.com/qingyunzong/p/8946679.html 一:数据倾斜 (一)数据倾斜调优了解 有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型
阅读全文
posted @ 2020-04-03 22:05 山上有风景
阅读(300)
评论(0)
推荐(0)
SparkCore的调优之开发调优
摘要: 转载自:https://www.cnblogs.com/qingyunzong/p/8946637.html 一:避免创建重复的RDD 通常来说,我们在开发一个Spark作业时,首先是基于某个数据源(比如Hive表或HDFS文件)创建一个初始的RDD; 接着对这个RDD执行某个算子操作,然后得到下一
阅读全文
posted @ 2020-04-03 16:25 山上有风景
阅读(220)
评论(0)
推荐(0)
SparkStreaming工作原理
摘要: 一:SparkCore,SparkSQL和SparkStreaming的类似之处 (一)SparkCore Spark Core主要是作为离线批处理(Batch Processing),每次处理的数据都是一个固定的数据集,而不是变化的 相关概念: RDD:弹性分布式数据集Spark Context:
阅读全文
posted @ 2020-04-03 10:27 山上有风景
阅读(3403)
评论(0)
推荐(2)
SparkSQL自定义函数
摘要: 一:自定义函数分类 在Spark中,也支持Hive中的自定义函数。自定义函数大致可以分为三种: 1.UDF(User-Defined-Function),即最基本的自定义函数,类似to_char,to_date等2.UDAF(User- Defined Aggregation Funcation),
阅读全文
posted @ 2020-04-03 09:27 山上有风景
阅读(1859)
评论(0)
推荐(0)
2020年4月2日
SparkSQl简单使用
摘要: 一:什么是SparkSQL? (一)SparkSQL简介 Spark SQL是Spark的一个模块,用于处理结构化的数据,它提供了一个数据抽象DataFrame(最核心的编程抽象就是DataFrame),并且SparkSQL作为分布式SQL查询引擎。Spark SQL就是将SQL转换成一个任务,提交
阅读全文
posted @ 2020-04-02 15:09 山上有风景
阅读(1473)
评论(0)
推荐(2)
2020年3月31日
Spark算子---重分区
摘要: Spark性能调试是使用Spark的用户在进行大数据处理的时候必须面对的问题,性能调优的方法有很多,这里首先介绍一种常见的调优问题-小分区合并问题。 一:小分区合并问题介绍 在使用Spark进行数据处理的过程中,常常会使用filter方法来对数据进行一些预处理,过滤掉一些不符合条件的数据。 在使用该
阅读全文
posted @ 2020-03-31 14:31 山上有风景
阅读(1912)
评论(0)
推荐(0)
Spark分区
摘要: 转载自:https://www.cnblogs.com/qingyunzong/p/8987065.html 一:分区的概念 分区是RDD内部并行计算的一个计算单元,RDD的数据集在逻辑上被划分为多个分片,每一个分片称为分区。 分区的格式决定了并行计算的粒度,而每个分区的数值计算都是在一个任务tas
阅读全文
posted @ 2020-03-31 10:41 山上有风景
阅读(319)
评论(0)
推荐(0)
2020年3月30日
Spark共享变量---累加器(及transformation和action回顾)
摘要: 一:累加器简介 (一)累加器用途 在spark应用程序中,我们经常会有这样的需求,如异常监控,调试,记录符合某特性的数据的数目,这种需求都需要用到计数器, 如果一个变量不被声明为一个累加器,那么它将在被改变时不会再driver端进行全局汇总, 即在分布式运行时每个task运行的只是原始变量的一个副本
阅读全文
posted @ 2020-03-30 17:39 山上有风景
阅读(1443)
评论(0)
推荐(0)
上一页
1
···
13
14
15
16
17
18
19
20
21
···
71
下一页
公告