2022年3月22日
大数据Spark实时处理--结构化流2（Structured Streaming）
摘要： 基于EventTime的窗口统计原理详解 10分钟一个窗口，5分钟更新一次 从12:00开始计算，隐藏之前的窗口 更新时间分别是：12:05、12:10、12:15、12:20 窗口（左闭右开区间））：12:00--12:10、12:05--12:15、12:10--12:20、12:15--12: 阅读全文
posted @ 2022-03-22 17:04 酱汁怪兽 阅读(182) 评论(0) 推荐(0)
大数据Spark实时处理--结构化流1（Structured Streaming）
摘要： Spark Streaming的不足 1）基于ProcessingTime 在数据处理过程中，是有几个时间的： ProcessingTime vs EventTime 12:00:00 数据的真正产生时间 ：EventTime 12:01:10 进入Spark的时间 ：ProcessingTime 阅读全文
posted @ 2022-03-22 14:32 酱汁怪兽 阅读(502) 评论(0) 推荐(0)