摘要: 1.foreach 2.foreachPartition 说明: foreachPartition属于算子操作,可以提高模型效率。比如在使用foreach时,将RDD中所有数据写Mongo中,就会一条数据一条数据地写,每次函数调用可能就会创建一个数据库连接,此时就势必会频繁地创建和销毁数据库连接,性 阅读全文
posted @ 2019-09-27 18:49 ~清风煮酒~ 阅读(5562) 评论(0) 推荐(0) 编辑
摘要: 如果一次处理后的数据太多,一下字发送kafka就会导致kafka对赛,那就然他睡几毫秒。不可可根据业务数据调试。每分钟100万左右就可以了吧。 阅读全文
posted @ 2019-09-27 17:04 ~清风煮酒~ 阅读(1903) 评论(0) 推荐(0) 编辑