Flink/Kafka - Flink集成Kafka

一、背景介绍

本文以risk-summary项目为背景来介绍。我们主要关注step 1  和 step 2

• 以flink作为中心来看，其在step 1把kafka作为数据源(addSource)获取数据，经过flink处理后，将处理后的数据再输出(addSink)到kafka

 

 

 

二、Flink与Kafka的集成

2.1 引入flink与kafka集成相关的包

 

2.2 创建Flink上下文环境

 

 

2.3 建立Flink和Kafka的关联 - 将kafka作为flink的数据源

（1）步骤是，建立flink和kafka的消费关系

（2） 步骤是flink上下文env通过addSource把kafka作为消费数据源. 返回一个数据流DataStream.

 

 

2.4 Flink对数据进行处理

通过filter过滤

通过map转换数据类型，从PortRiskBO convert 为 RiskSummaryBO

 

  

2.5 再次建立Flink和Kafka的关联 - 将kafka作为flink的输出地

 

 

2.6 启动Flink

 

 

 

 

 

参考文献

FLINK基础（十）：FLINK常用的SOURCE和SINK：https://www.freesion.com/article/2162429401/