摘要：
第1章 资源配置调优 Flink性能调优的第一步，就是为任务分配合适的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。 提交方式主要是yarn-per-job，资源的分配在使用脚本提交Flink任务时进行指定。 标准的Fl 阅读全文
posted @ 2022-04-28 21:01
ChinaNum1
阅读(595)
评论(0)
推荐(0)
摘要：
Explain查看执行计划 1.1 创建测试用表 1）建大表、小表和JOIN后表的语句 // 创建大表 create table bigtable(id bigint, t bigint, uid string, keyword string, url_rank int, click_num int 阅读全文
posted @ 2022-04-28 21:01
ChinaNum1
阅读(59)
评论(0)
推荐(0)
摘要：
内存优化 用以下三张表，做性能测试 1.1 RDD 1.1.1cache import org.apache.spark.SparkConfimport org.apache.spark.sql.{Row, SparkSession}object MemoryTuning { def main(ar 阅读全文
posted @ 2022-04-28 20:58
ChinaNum1
阅读(681)
评论(0)
推荐(0)
浙公网安备 33010602011771号