摘要: 案例功能说明 通过socketTextStream读取9999端口数据,统计在一定时间内不同类型商品的销售总额度,如果持续销售额度为0,则执行定时器通知老板,是不是卖某种类型商品的员工偷懒了(只做功能演示,根据个人业务来使用,比如统计UV等操作)。 ProcessFunction是一个低阶的流处理操 阅读全文
posted @ 2021-07-15 20:13 大数据从业者FelixZh 阅读(592) 评论(0) 推荐(0) 编辑
摘要: 在大数据处理领域,数据倾斜是一个非常常见的问题,今天我们就简单讲讲在flink中如何处理流式数据倾斜问题。 1.数据倾斜的原理和影响 1.1 原理 数据倾斜就是数据的分布严重不均,造成一部分数据很多,一部分数据很少的局面。 数据分布理论上都是倾斜的,符合“二八原理”:例如80%的财富集中在20%的人 阅读全文
posted @ 2021-07-15 17:18 大数据从业者FelixZh 阅读(3393) 评论(0) 推荐(0) 编辑