Flink Asynchronous IO异步操作

文章目录

• • 一.简介
  • 二.原理
  • • 2.1 API
    • 2.2 实现
  • 三.示例

一.简介

在流式处理的过程中, 在中间步骤的处理中, 如果涉及到一些费事的操作或者是外部系统的数据交互, 那么就会给整个流造成一定的延迟。在 Flink 的 1.2 版本中引入了 Asynchronous I/O，能够支持异步的操作，以提高 flink 系统与外部数据系统交互的性能及吞吐量。

图片来源官网

图中棕色的长条表示等待时间，可以发现网络等待时间阻碍了吞吐和延迟，为了解决同步访问的问题，异步模式可以并发地处理多个请求和回复，也就是说，你可以连续地向数据库发送用户a、b、c等请求，与此同时，哪个请求的回复先返回了就处理哪个回复，从而连续的请求之间不需要阻塞等待，如上图右边所示。这也正是 Async I/O 的实现原理。

二.