2018年12月21日
spark优化
摘要： 1. 数据序列化 a. 使用Kryo序列化 conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")2. 内存调整 a. 如何确定对象的内存使用情况 spark.memory.fraction = 0.6 / 阅读全文
posted @ 2018-12-21 11:25 chenzechao 阅读(166) 评论(0) 推荐(0)
git只clone仓库中指定子目录和指定文件的实现
摘要： ## step 1 :初始化空库 [root@vm_test backup]# mkdir devops [root@vm_test backup]# cd devops/ [root@vm_test devops]# git init #初始化空库 ## step 2 : 拉取remote的all objects信息 [root@vm_test dev... 阅读全文
posted @ 2018-12-21 11:22 chenzechao 阅读(5292) 评论(0) 推荐(0)