摘要：深入Spark "Locality level"(Spark-2.3.0版本)1、可以在Spark job ui上查看到 2、Locality level解释说明：为了保证没有理解的偏差，将把英文原文说明粘贴如下。 Data locality can have a major impact on t 阅读全文

摘要：Spark有几种部署的模式，单机版、集群版等等，平时单机版在数据量不大的时候可以跟传统的java程序一样进行断电调试、但是在集群上调试就比较麻烦了...远程断点不太方便，只能通过Log的形式进行数据分析，利用spark ui做性能调整和优化。 那么本篇就介绍下如何利用Ui做性能分析，因为本人的经验也 阅读全文

摘要：转自：http://blog.csdn.net/ljj657137723/article/details/52134962 本篇文章是关于我在学习Spark过程中遇到的一些问题及总结，分为Spark优化、RDD join问题、遇到的问题、总结、参考资料几个部分。 一：Spark优化 1、设置序列化器 阅读全文

摘要：必要配置 通过下面参数开启DRA 设置最大最小的Executor 数目： 可选配置 这些参数可以不用配置，都已经提供了一个较为合理的默认值 开启日志: 设置DRA 生效延时： 设置DRA 计算资源量时参考的周期数： 设置DRA 释放资源的步调： 设置DRA 资源额外保留比例: DRA 算法说明 减少 阅读全文