摘要:
https://shimo.im/docs/kwqGkrTGPCDP8VcR/read https://www.bilibili.com/video/BV124411P7V9?from=search&seid=7160369370774006313 视频和笔记配合食用更佳。 阅读全文
摘要:
现象: 代码如下 打印出来结果为 原因: 序列化出现了问题,这里我在前面引用的Encoder 是 implicit val odsClewordPacakgesBeanEncoder = org.apache.spark.sql.Encoders.kryo[DimIdpCourseStructInf 阅读全文
摘要:
https://zhuanlan.zhihu.com/p/44517915 阅读全文
摘要:
现象 在debezium 抽取 千万级大表时,发现snapshot时同步速率在 2s 10000 row ,同时还有 young GC 信息打印 原因分析 网络原因 首先排除网络延迟的原因,ping 一下目的主机,发现 延迟在0.1ms 本身原因 查看SnapshotReader源码 // Scan 阅读全文
摘要:
参考:https://blog.csdn.net/zhanyuanlin/article/details/78799341 现象: 公司集群使用的是容量调度器,其中有个任务队列在yarn上查看,只占用了20%的资源,在其中提交的任务有50多个,全部都是pending状态 原因: 初步分析,表的小文件 阅读全文
摘要:
原因:因为Flink 加载 table Factory 使用的时SPI机制,而正常的flink jar包是不包含META-INF.services 路径的,需要自己去添加 org.apache.flink.table.factories.TableFactory # Licensed to the 阅读全文
摘要:
原因:因为整合了Dubbo,依赖之间起了冲突,用maven helper可以看到,Springboot 有5.x版本和4.x版本,但是原因未知,把dubbo服务的相关依赖重新deploy ,修复 阅读全文
摘要:
报错信息: 解决: 添加配置 ps:spark 读取csv参数解析 https://blog.csdn.net/qq_36535820/article/details/108993618 阅读全文
摘要:
在已经启动后的连接器配置中table.include.list 添加了一张已有数据的表,如何为该表做snapshot > 开发环境 debezium版本是1.3.final 如题,这里要介绍一个参数 “snapshot.new.tables” ,这个参数有点神奇,是被官方雪藏起来的,官方issue给 阅读全文
摘要:
https://blog.csdn.net/zryowen123/article/details/77692764 参考链接 阅读全文
摘要:
参考链接:https://www.jianshu.com/p/6aefed2be1c7 但其中有一点,就是我在 使用 screen 命令时无法使用,看网上讨论好像是个bug,https://stackoverflow.com/questions/63445657/why-i-am-getting-s 阅读全文
摘要:
环境准备 MySQL(开启binlog) Kafka(使用内嵌式debezium则不需要) debezium连接器 官网参考 https://debezium.io/documentation/reference/1.3/tutorial.html 在 Kafka 环境下安装 debezium 连接 阅读全文
摘要:
Linux Linux 安装docker后会自动配置一个docker0的网卡,这里面显示的就是宿主机的地址 https://www.jianshu.com/p/3e1fd311ba87 MAC mac 有点像虚拟机,所以网络联通还不太一样,需要用host.docker.internal https: 阅读全文
摘要:
https://blog.csdn.net/YanceChen2013/article/details/82218356 阅读全文
摘要:
ES docker run -d --net 4b61cc370852 //网络环境配置,方便与其他容器交互 -v es:/usr/share/elasticsearch/data //数据持久化 -p 9200:9200 -p 9300:9300 -e "discovery.type=single 阅读全文