jia-tong

摘要： 架构图大致如下： 版本信息大致如下，具体版本信息根据自己的需求进行调整即可： oracle：19c flinkcdc：2.4.0 kafka：3.1.2 flink：1.15.4 mysql：8.0.27 springboot：2.5.6 实现需求： 1.使用flinkcdc采集oracle中的数据 阅读全文

摘要： 报错一： 原因分析：字面原因，找不到 org.apache.flink.table.api.ValidationException类。 解决办法：根据类名可知，应该 org.apache.flink.table.api 包下面的，然后去阿里云maven仓库搜索，添加如下依赖即可 报错二： 原因分析： 阅读全文

摘要： 先粘贴连接成功的截图： 为什么要先贴图，主要是想重点来说一下这里面红框参数如何设置。 我想先说一下我的环境背景：服务器环境：虚拟机，linux：centOS7.5，oracle 19c(具体版本：19.3.0.0)，连接服务器客户端工具：mobaxterm 接下来我一个一个说上面的参数应该如何设置： 阅读全文

摘要： notepad如何删除某个字符开头的行 ^#.*$ 注意：#替换成你想要删除行中的字符就可 notepad如何删除空白行 转发：https://blog.csdn.net/qq_34412985/article/details/107428206 原作者：qq_34412985（多谢作者提供好文） 阅读全文

摘要： 零、kafka消费者组状态 Stable：消费者组中所有消费者都已经加入并且正在消费消息。 Rebalancing：消费者组正在重新平衡，即有消费者加入或退出消费者组时发生的状态。在重新平衡期间，Kafka会暂停所有消费者的消费，并重新分配分区。 Empty：消费者组中没有消费者或者所有消费者都已经 阅读全文

摘要： 1.动态资源分配 Spark的动态资源分配就是executor数据量的动态增减，具体的增加和删除数量根据业务的实际需要动态的调整。具体表现为：如果executor数据量不够，则增加数量，如果executor在一段时间内空闲，则移除这个executor。 动态增加executor配置项：spark.d 阅读全文

摘要： 0、前提知识储备 Conflurent公司的SchemaRegestry组件的基本了解和使用 一、背景： 0.组件版本 flink：1.14 1.链路调整情况 原先链路：oracle-->OGG-->kafka-->flink-->数据库\湖\仓 实现链路：oracle-->OGG-->kafka（ 阅读全文

摘要： 背景：每次使用idea打开新的工程，都需要重新设置一遍maven的配置，次次都这样烦死了，就没有一个简便的方法吗？ 回答：答案是：必须有啊~ 解题步骤： 1.原来的设置方法：File -> Settings -> 搜索框搜索 maven -> 弹出后进行设置，如下图： 不知道可爱的你是否注意到图上右 阅读全文

摘要： 一、为什么要进行数据迁移 背景：我现在有个需求：需要修改kudu表的主键，主键由1个字段增加为2个字段。因为不能影响下游系统使用kudu表，kudu表表名不能做修改。需要将原kudu表删除后再建新kudu表。 这里存在几个潜在知识点： 1.kudu表修改主键不能使用命令直接修改，必须重新删表然后建表 阅读全文

摘要： 在当前场景下，segment 片段默认大小是1Gb，一般情况下当 segment 到达 1Gb 时就会生成新的 segment，依次类推。是否会存在 segment 未到达 1Gb 就会生成新的 sgement 的情况? 要想回答以上情况，就要知道生成新的 segment 和哪些因素有关系？ 一、s 阅读全文