2024年5月3日
Spark中的闭包引用和广播变量
摘要： Spark中的闭包引用和广播变量 闭包引用 概念 所有编程语言都有闭包的概念，闭包就是在一个函数中引用了函数外的变量。 Spark中，普通的变量是在Driver程序中创建的，RDD的计算是在分布式集群中的task程序上进行的。因此，当分布式算子的函数引用了外部的变量时，Driver会把该变量序列化后通过网络发送给每一个task（只针 阅读全文
posted @ 2024-05-03 19:07 Ji_Lei 阅读(236) 评论(0) 推荐(0)