摘要: 一、踩坑经历 自定义的accumulator是线程不安全的,会造成累加结果不正确。自定找了很久没想到是线程不安全行成的。 二、解决方法 创建一个线程安全的集合变量(我用的是Java的ConcurrentHashMap),赋好初始值 ,在重写add方法时,将旧的值取出来累加后再放回去(取与放的动作要加 阅读全文
posted @ 2018-04-02 17:30 Runner_Jack 阅读(418) 评论(0) 推荐(0) 编辑
摘要: 答案:保存在driver端。因此需要对收集的信息的规模要加以控制,不宜过大。避免 driver端的outofmemory问题!!! 阅读全文
posted @ 2018-04-02 15:09 Runner_Jack 阅读(254) 评论(0) 推荐(0) 编辑