2022年2月15日

Flink实时计算

摘要： flink计算过程：Source->Transform->Sink 整体设计 消费kafka数据，解析、计算后，分两路输出 1 归档（HDFS） 2 业务应用（PG） 代码实现 消费kafka：FlinkKafkaConsumer<byte[]> kafkaConsumer 解 析： 按照协议、结构 阅读全文

posted @ 2022-02-15 14:54 爱老虎哟 阅读(815) 评论(0) 推荐(0)

MapReduce

摘要： 1 是什么？ 海量、离线数据里批处理、分布式计算引擎 2 编程组件？ InputFormat类：分割成多个splits和每行怎么解析。 Mapper类：对输入的每对<key,value>生成中间结果。 Combiner类：在map端，对相同的key进行合并。 Partitioner类：在shuffl 阅读全文

posted @ 2022-02-15 11:44 爱老虎哟 阅读(71) 评论(0) 推荐(0)

导航