|NO.Z.00052|——————————|BigDataEnd|——|Hadoop&Flink.V07|——|Flink.v07|Flink Connector|kafka|消费策略|

一、消费策略

### --- 消费策略

~~~     # setStartFromGroupOffsets()【默认消费策略】
~~~     默认读取上次保存的offset信息
~~~     如果是应用第一次启动，读取不到上次的offset信息，
~~~     则会根据这个参数auto.offset.reset的值来进行消费数据
~~~     # setStartFromEarliest()
~~~     从最早的数据开始进行消费，忽略存储的offset信息

~~~     # setStartFromLatest()
~~~     从最新的数据进行消费，忽略存储的offset信息

~~~     # setStartFromSpecificOffsets(Map<KafkaTopicPartition, Long>)
~~~     从指定位置进行消费
~~~     当checkpoint机制开启的时候，
~~~     KafkaConsumer会定期把kafka的offset信息还有其他operator的状态信息一块保存起来。
~~~     当job失败重启的时候，Flink会从最近一次的checkpoint中进行恢复数据，重新消费kafka中的数据。
~~~     为了能够使用支持容错的kafka Consumer，
~~~     需要开启checkpointenv.enableCheckpointing(5000); // 每5s checkpoint一次

---

 

 

 

 

 

 

 

 

 

---

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart

                                                                                                                                                   ——W.S.Landor

---