私人小院

摘要： https://mp.weixin.qq.com/s/lNE14-u2Gw2JoZybC1dhSw 阅读全文

摘要： https://blog.csdn.net/m0_57498038/article/details/116034873 阅读全文

摘要： https://blog.csdn.net/OWBY_Phantomhive/article/details/123086181 note : 阅读全文

摘要： https://zhuanlan.zhihu.com/p/115341596 https://baijiahao.baidu.com/s?id=1724256379878166241&wfr=spider&for=pc 阅读全文

摘要： https://blog.csdn.net/u010452388/article/details/98234147 阅读全文

摘要： https://www.iteye.com/blog/langyu-992916 https://www.cnblogs.com/felixzh/p/4680808.html 阅读全文

摘要： 1. 什么是累加器 累加器是用来把Executor端的变量信息聚合到Driver端 2. 累加器实现原理 * 在Driver程序中定义的变量,在Executor端的每个Task节点上都会复制这个变量的副本 * ,每个Task节点更新这些副本的值后,再传回Driver端进行merge 3. 怎样获取累 阅读全文

摘要： https://blog.csdn.net/qidasheng2012/article/details/105771052 https://developer.aliyun.com/article/696266 阅读全文

摘要： 1.说明 * 1.Rdd文件读取和保存 可以从两个角度来区分 * 文件格式 : text、json、csv、sequence文件、Object序列化文件 * 文件系统 : 本地文件系统、hdfs、hbase、各类型数据库 2.Spark中怎样读取&保存text文件？ 1.读取 * 1.SparkCo 阅读全文

摘要： 1. 什么是Rdd的分区器？ * key-value类型的Rdd在Shuffle时,会根据key的特质进行分区 * 分区器就是 Partitioner的一个实现类 * 通过指定 numPartitions 确定分区个数 * getPartition(key: Any) 确定分区规则 2. Spark 阅读全文