Fork me on GitHub

随笔分类 -  --------【Spark经验】

[Spark经验一]Spark RDD计算使用的函数里尽量不要使用全局变量
摘要：比如RDD里的计算调用了别的组件类里的方法(比如hbase里的put方法)，那么序列化时，会将该方法所属的对象的所有变量都序列化的，可能有些根本没有实现序列化导致直接报错。也就是spark的api没有做到用户无感知,在使用一些全局方法时还需自己控制。简单点的... 阅读全文
posted @ 2016-03-19 22:33 程序优化 阅读(1000) 评论(0) 推荐(0)