01 2018 档案

spark性能调优
摘要：1、spark汇聚失败 出错原因，hive默认配置中parquet和动态分区设置太小 2.hive数据入hbase报错 出现报错原因： executor_memory和dirver_memory太小，在增大内存后还会出现连接超时的报错 解决连接超时：spark.network.timeout=140 阅读全文
posted @ 2018-01-23 15:16 成平艺君 阅读(9957) 评论(2) 推荐(0)