flink cdc 使用问题记录
- flink 堆内存分配优化,调整堆内存相关参数
- flink slot个数调整,slot个数和cpu核数正相关
- 源端连接池连接数与并行度保持一致(底层子任务共享连接池)
- 目的端数据库连接释放逻辑优化,避免内存泄漏
- flink cdc debezium reader线程泄漏(任务执行完成后,线程阻塞未释放),官方后续版本解决
- flink cdc 解析binlog日志逻辑错误(update语句使用add方法添加记录,可能和快照语句重复,造成主键冲突异常),官方最新版本(flink cdc 2.2.1)已解决
- sink keyby 按表分区多线程并发窗口,同一张表sql合并(insert合并,update、delete操作单独执行),提高sql执行效率。

浙公网安备 33010602011771号