2022年2月15日

Flink实时计算

摘要: flink计算过程:Source->Transform->Sink 整体设计 消费kafka数据,解析、计算后,分两路输出 1 归档(HDFS) 2 业务应用(PG) 代码实现 消费kafka:FlinkKafkaConsumer<byte[]> kafkaConsumer 解 析: 按照协议、结构 阅读全文

posted @ 2022-02-15 14:54 爱老虎哟 阅读(815) 评论(0) 推荐(0)

MapReduce

摘要: 1 是什么? 海量、离线数据里批处理、分布式计算引擎 2 编程组件? InputFormat类:分割成多个splits和每行怎么解析。 Mapper类:对输入的每对<key,value>生成中间结果。 Combiner类:在map端,对相同的key进行合并。 Partitioner类:在shuffl 阅读全文

posted @ 2022-02-15 11:44 爱老虎哟 阅读(71) 评论(0) 推荐(0)

导航