20 | Spark的性能优化案例分析(下)

基于软件性能优化原则和 Spark 的特点,Spark 性能优化可以分解为下面几步。

1. 性能测试,观察 Spark 性能特性和资源(CPU、Memory、Disk、Net)利用情况。

2. 分析、寻找资源瓶颈。

3. 分析系统架构、代码,发现资源利用关键所在,思考优化策略。

4. 代码、架构、基础设施调优,优化、平衡资源利用。

5. 性能测试,观察系统性能特性,是否达到优化目的,以及寻找下一个瓶颈点。

 

案例 1:Spark 任务文件初始化调优

 https://time.geekbang.org/column/article/72638

 

posted on 2019-05-06 17:25  wzc521  阅读(100)  评论(0)    收藏  举报

导航