第一章-Flink基础

开发篇

一.Flink 1.13.1版本新增重要特性

重要修改

1.被动扩缩容
2.分析应用的性能

• 瓶颈检测与反压监控
• Web UI 中的 CPU 火焰图
• State 访问延迟指标

3.通过Savepoint来切换Sate Backend
4.K8s部署时使用用户指定的Pod模式
5.生产可用的Unaligned Checkpoint
6.机器学习迁移到单独的仓库

SQL/Table API进展

1.通过Table-valued函数来定义时间窗口；
2.提高DataStream API与Table API/SQL的互操作能力;
3.SQL Client：初始化脚本和语句集合（Streament Sets)；
4.配置简化和代码共享；
5.通过语句集合来支持多查询；
6.Hive 查询语法兼容性;
7.优化的 SQL 时间函数;

PyFlink核心优化：

1.Python DataStream API 中的有状态算子;
2.PyFlink DataStream API 中的用户自定义窗口;
3.PyFlink Table API 中基于行的操作;
4.PyFlink DataStream API 支持 Batch 执行模式;

其它优化：

1.Web UI 支持历史异常;
2.优化失败 Checkpoint 的异常和失败原因的汇报;
3.提供『恰好一次』一致性的 JDBC Sink;
4.PyFlink Table API 在 Group 窗口上支持用户自定义的聚合函数;
5.Batch 执行模式下 Sort-merge Shuffle 优化;
6.HBase 连接器支持异步维表查询和查询缓存;

二.