Flink生产问题记录

1.集群有2个flink版本,用application方式启动报错

Caused by: java.lang.ClassCastException: cannot assign instance of org.apache.commons.collections.map.LinkedMap to field org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumerBase.pendingOffsetsToCommit of type org.apache.commons.collections.map.LinkedMap in instance of org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer

• 原因分析：
  LinkedMap class is being loaded from two different packages, and those are being assigned to each other.
• 解决：在flink-conf.yaml里添加
  classloader.resolve-order: parent-first

2.cdc胖瘦jar的问题

flink-sql-connector-xx 是胖包，包含第三方依赖，这简化了 SQL 作业的使用
flink-connector-xx 不包含其所需的依赖

3.flink.conf配置了slot，但是启动任务slot不够用

解决：将yarn-site.xml参数yarn.nodemanager.resource.cpu-vcores增大

4.变量问题

idea使用jdk17版本 启动类配置 虚拟环境

--add-opens java.base/java.lang=ALL-UNNAMED --add-opens java.base/java.lang.reflect=ALL-UNNAMED --add-opens java.base/java.lang.invoke=ALL-UNNAMED --add-opens java.base/java.math=ALL-UNNAMED --add-opens java.base/sun.net.util=ALL-UNNAMED --add-opens java.base/java.io=ALL-UNNAMED --add-opens java.base/java.net=ALL-UNNAMED --add-opens java.base/java.nio=ALL-UNNAMED --add-opens java.base/java.security=ALL-UNNAMED --add-opens java.base/java.text=ALL-UNNAMED --add-opens java.base/java.time=ALL-UNNAMED --add-opens java.base/java.util=ALL-UNNAMED

mvn package报jdk model的问题，需要切换成jdk8版本。

5.cdc问题

cdc读取mysql主从库时，不能用中间件ip地址，需要用真实的ip地址，这样才能找到binlog，否则读不到数据