摘要：
转载自：https://www.cnblogs.com/qingyunzong/p/8973707.html更多调优见其他文章 一：概述 在开发完Spark作业之后，就该为作业配置合适的资源了。 Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。 很多Spark初学者，通 阅读全文
posted @ 2020-04-04 10:17
山上有风景
阅读(219)
评论(0)
推荐(0)
摘要：
https://www.cnblogs.com/ssyfj/p/12615298.html 转载自：https://www.cnblogs.com/qingyunzong/p/8954552.html 一：概述 大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘 阅读全文
posted @ 2020-04-03 23:21
山上有风景
阅读(234)
评论(0)
推荐(0)
摘要：
转载自：https://www.cnblogs.com/qingyunzong/p/8946679.html 一：数据倾斜 （一）数据倾斜调优了解 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型 阅读全文
posted @ 2020-04-03 22:05
山上有风景
阅读(300)
评论(0)
推荐(0)
摘要：
转载自：https://www.cnblogs.com/qingyunzong/p/8946637.html 一：避免创建重复的RDD 通常来说，我们在开发一个Spark作业时，首先是基于某个数据源（比如Hive表或HDFS文件）创建一个初始的RDD； 接着对这个RDD执行某个算子操作，然后得到下一 阅读全文
posted @ 2020-04-03 16:25
山上有风景
阅读(220)
评论(0)
推荐(0)
摘要：
一：SparkCore,SparkSQL和SparkStreaming的类似之处 （一）SparkCore Spark Core主要是作为离线批处理（Batch Processing），每次处理的数据都是一个固定的数据集，而不是变化的 相关概念: RDD：弹性分布式数据集Spark Context： 阅读全文
posted @ 2020-04-03 10:27
山上有风景
阅读(3403)
评论(0)
推荐(2)
摘要：
一：自定义函数分类 在Spark中，也支持Hive中的自定义函数。自定义函数大致可以分为三种： 1.UDF(User-Defined-Function)，即最基本的自定义函数，类似to_char,to_date等2.UDAF（User- Defined Aggregation Funcation）， 阅读全文
posted @ 2020-04-03 09:27
山上有风景
阅读(1859)
评论(0)
推荐(0)
摘要：
一：什么是SparkSQL？ （一）SparkSQL简介 Spark SQL是Spark的一个模块，用于处理结构化的数据，它提供了一个数据抽象DataFrame（最核心的编程抽象就是DataFrame），并且SparkSQL作为分布式SQL查询引擎。Spark SQL就是将SQL转换成一个任务，提交 阅读全文
posted @ 2020-04-02 15:09
山上有风景
阅读(1473)
评论(0)
推荐(2)
摘要：
Spark性能调试是使用Spark的用户在进行大数据处理的时候必须面对的问题，性能调优的方法有很多，这里首先介绍一种常见的调优问题-小分区合并问题。 一：小分区合并问题介绍 在使用Spark进行数据处理的过程中，常常会使用filter方法来对数据进行一些预处理，过滤掉一些不符合条件的数据。 在使用该 阅读全文
posted @ 2020-03-31 14:31
山上有风景
阅读(1912)
评论(0)
推荐(0)
摘要：
转载自：https://www.cnblogs.com/qingyunzong/p/8987065.html 一：分区的概念 分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区。 分区的格式决定了并行计算的粒度，而每个分区的数值计算都是在一个任务tas 阅读全文
posted @ 2020-03-31 10:41
山上有风景
阅读(319)
评论(0)
推荐(0)
摘要：
一：累加器简介 （一）累加器用途 在spark应用程序中，我们经常会有这样的需求，如异常监控，调试，记录符合某特性的数据的数目，这种需求都需要用到计数器， 如果一个变量不被声明为一个累加器，那么它将在被改变时不会再driver端进行全局汇总， 即在分布式运行时每个task运行的只是原始变量的一个副本 阅读全文
posted @ 2020-03-30 17:39
山上有风景
阅读(1443)
评论(0)
推荐(0)
浙公网安备 33010602011771号