2022年1月9日
flink-streaming消费kafka动态分区写入HDFS(SequenceFile)文件
摘要： 主要记录下streaming模式下动态分区怎么写文件，sql模式直接写就是了，streaming模式需要自己写下分区方法。大致的数据流程是消费kafka，拆解json，数据写到hdfs(sequenceFile)路径。 1、分区需要自定义，这里是读取流数据，获取分区字段 package partit 阅读全文
posted @ 2022-01-09 10:59 活不明白 阅读(216) 评论(0) 推荐(0)