2022年7月21日
spark广播 变量2（实际使用）
摘要： 增加 val broadcase = sc.broadcast(stu_info_list) package com.matthew.bigdata.spark.core import org.apache.spark.sql.SparkSession object Demo15 { def mai 阅读全文
posted @ 2022-07-21 15:12 孤独的执行者 阅读(41) 评论(0) 推荐(0)
spark广播变量（demo1,未用广播变量)
摘要： 分布式rdd跟本地driver关联代码 煎熬的是python采用的是list,scala tuple3,真的痛苦（加油，五年后写scala) 这种方法是每个本地list对象都会被分配到每个分区上使用，也就是一个executor package com.matthew.bigdata.spark.co 阅读全文
posted @ 2022-07-21 15:01 孤独的执行者 阅读(49) 评论(0) 推荐(0)