Fork me on GitHub
2021年6月21日
spark广播变量
摘要： Spark-广播变量 当我们产生了几百个或是几千个task这些task后期都需要使用到一份共同的数据，假如这个数据量有1G,这些task后期运行完成需要内存开销 几百或几千乘以1g,内存开销还是特别大的，特别浪费资源。而spark提供一个叫数据共享机制广播变量。可以把共同数据从Driver段下发到每 阅读全文
posted @ 2021-06-21 23:08 是阿凯啊 阅读(496) 评论(0) 推荐(0)