摘要：
本文目标 Oracle->Debezium->Kafka->Flink->PostgreSQL Flink消费Kafka中客户、产品、订单（ID）三张表的数据合并为一张订单（NAME）表。 前置环境 Oracle内创建三张表 -- 客户信息表 CREATE TABLE "YINYX"."T_CUST 阅读全文
posted @ 2022-12-30 10:09
大雨点
阅读(404)
评论(0)
推荐(0)
摘要：
本文目标 开启PG的日志，配置DBZ从其捕获数据变化。 开启PG日志 data/postgresql.conf wal_level = logical 重启数据库。 配置Debezium quarkus.http.port=8999 rkus.log.level=INFO quarkus.log.c 阅读全文
posted @ 2022-12-14 11:33
大雨点
阅读(73)
评论(0)
推荐(0)
摘要：
本文目标 用Flink从Kafka抽取DBZ送入的Oracle数据，入库到PostgreSQL Oracle->DBZ->Kafka->Flink->PostgreSQL CREATE TABLE t1_kafka ( F1 BIGINT NOT NULL, -- 注意字段大小写与Oracle保持一 阅读全文
posted @ 2022-12-05 22:58
大雨点
阅读(77)
评论(0)
推荐(0)
摘要：
本文目标 用logminer模式抽取Oracle日志数据 touch data/logminer_offsets.dat [yinyx@hostyyx conf]$ cat application.properties quarkus.http.port=8999 rkus.log.level=IN 阅读全文
posted @ 2022-12-05 22:57
大雨点
阅读(288)
评论(0)
推荐(0)
摘要：
本文目标 打开Oracle的logminner日志 参考文章 https://support.huaweicloud.com/usermanual-roma/fdi-ug-190624017.html https://debezium.io/documentation/reference/2.0/c 阅读全文
posted @ 2022-12-05 22:56
大雨点
阅读(413)
评论(0)
推荐(0)
摘要：
本文目标 部署debezium server 读取OracleXstream日志，发送到Kafka 部署Oracle客户端 下载客户端 https://www.oracle.com/database/technologies/instant-client/linux-x86-64-downloads 阅读全文
posted @ 2022-12-05 22:55
大雨点
阅读(565)
评论(0)
推荐(0)
摘要：
本文目标 为Oracle19c打开xstream，为了让Debezium能够读取日志变化 参考文章 https://support.huaweicloud.com/usermanual-roma/fdi-ug-190624013.html 打开归档 修改管理员密码 [oracle@hostyyx ~ 阅读全文
posted @ 2022-12-05 22:54
大雨点
阅读(442)
评论(1)
推荐(0)
摘要：
本文目标 CentOS7使用rpm安装Oracle19c企业版 安装前准备 yum update (可选) yum install -y compat-libcap1 compat-libstdc+±33 gcc-c++ ksh libaio-devel libstdc+±devel elfutil 阅读全文
posted @ 2022-12-05 10:29
大雨点
阅读(479)
评论(0)
推荐(0)
摘要：
本文目标 制作PostgreSQL-15.1绿色版，简化以后搭建测试环境。 内置数据库test 内置用户test，密码test，可远程登陆，管理员权限 ./start.sh 启动 ./stop.sh 停止 ./cmd.sh test用户和库的命令行 ./admin.sh 超级用户权限命令行 yum安 阅读全文
posted @ 2022-12-03 20:59
大雨点
阅读(269)
评论(0)
推荐(0)
摘要：
本文目标 Flink消费DBZ推送到Kafka的JSON数据，存入PostgreSQL 创建kafka的映射表 CREATE TABLE t1_kafka ( f1 BIGINT NOT NULL, f2 STRING, f3 TIMESTAMP(0) METADATA FROM 'value.so 阅读全文
posted @ 2022-12-03 20:58
大雨点
阅读(112)
评论(0)
推荐(0)
浙公网安备 33010602011771号