flink cdc 使用问题记录

  1.  flink 堆内存分配优化,调整堆内存相关参数
  2. flink slot个数调整,slot个数和cpu核数正相关
  3. 源端连接池连接数与并行度保持一致(底层子任务共享连接池)
  4. 目的端数据库连接释放逻辑优化,避免内存泄漏
  5. flink cdc debezium reader线程泄漏(任务执行完成后,线程阻塞未释放),官方后续版本解决
  6. flink cdc 解析binlog日志逻辑错误(update语句使用add方法添加记录,可能和快照语句重复,造成主键冲突异常),官方最新版本(flink cdc 2.2.1)已解决
  7. sink keyby 按表分区多线程并发窗口,同一张表sql合并(insert合并,update、delete操作单独执行),提高sql执行效率。
posted @ 2022-06-28 09:38  sahara-随笔  阅读(705)  评论(0)    收藏  举报