Fork me on GitHub
2018年2月6日
【Spark篇】---Spark中广播变量和累加器
摘要： 一、前述 Spark中因为算子中的真正逻辑是发送到Executor中去运行的，所以当Executor中需要引用外部变量时，需要使用广播变量。 累机器相当于统筹大变量，常用于计数，统计。 二、具体原理 1、广播变量 广播变量理解图 注意事项 1、能不能将一个RDD使用广播变量广播出去？ 不能，因为RD 阅读全文
posted @ 2018-02-06 23:10 L先生AI课堂 阅读(14146) 评论(0) 推荐(0)