摘要: 当你感到悲哀痛苦时,最好是去学些什么东西。学习会使你永远立于不败之地。 使用场景 在rdd的每一个分区上,执行迭代操作,在每一次的迭代操作中,需要先访问redis缓存,并获取key对应的value,若value存在则对value进行反序列化操作,否则从db里查询并序列化存放到redis缓存中。 伪代 阅读全文
posted @ 2020-05-07 11:30 JohnnyBai 阅读(1075) 评论(3) 推荐(0) 编辑
摘要: 信念,你拿它没办法,但是没有它你什么也做不成。—— 撒姆尔巴特勒 前言 对于spark streaming而言,大的batch任务会导致后续batch任务积压,对于structured streaming任务影响如何,本篇文章主要来做一下简单的说明。 本篇文章的全称为设置trigger后,运行时间长 阅读全文
posted @ 2020-05-07 01:02 JohnnyBai 阅读(836) 评论(0) 推荐(0) 编辑