2022年6月20日
手把手教你创建广播变量(broadcast)
摘要： 1. 使用说明 /* * TODO 使用说明 * 在大表 关联 小表时,可以将小表读取到本地内存(Driver),再作为一个只读变量发分到Executor端读取, * 这样操作避免了shuffle操作,大大提高了join效率 * * */ 2.广播变量实现 join /* 广播变量实现 join * 阅读全文
posted @ 2022-06-20 19:40 学而不思则罔！ 阅读(121) 评论(0) 推荐(0)
scala中的数组
摘要： 1.可变数组-ArrayBuffer 1.1 创建一个数组对象 2.不可变数组-Array 3.可变数组和不可变数组的区别 阅读全文
posted @ 2022-06-20 16:09 学而不思则罔！ 阅读(32) 评论(0) 推荐(0)