2020年4月18日
实战|使用Spark Structured Streaming写入Hudi
摘要： 1. 项目背景 传统数仓的组织架构是针对离线数据的OLAP（联机事务分析）需求设计的，常用的导入数据方式为采用sqoop或spark定时作业逐批将业务库数据导入数仓。随着数据分析对实时性要求的不断提高，按小时、甚至分钟级的数据同步越来越普遍。由此展开了基于spark/flink流处理机制的（准）实时 阅读全文
posted @ 2020-04-18 22:21 leesf 阅读(5064) 评论(0) 推荐(2) 编辑