大雨点 - 博客园

2022年12月30日

摘要：本文目标 Oracle->Debezium->Kafka->Flink->PostgreSQL Flink消费Kafka中客户、产品、订单（ID）三张表的数据合并为一张订单（NAME）表。前置环境 Oracle内创建三张表 -- 客户信息表 CREATE TABLE "YINYX"."T_CUST 阅读全文

posted @ 2022-12-30 10:09 大雨点阅读(404) 评论(0) 推荐(0)

2022年12月14日

14 抽取PostgreSQL

摘要：本文目标开启PG的日志，配置DBZ从其捕获数据变化。开启PG日志 data/postgresql.conf wal_level = logical 重启数据库。配置Debezium quarkus.http.port=8999 rkus.log.level=INFO quarkus.log.c 阅读全文

posted @ 2022-12-14 11:33 大雨点阅读(73) 评论(0) 推荐(0)

2022年12月5日

13 FLink Oracle-PostgreSQL

摘要：本文目标用Flink从Kafka抽取DBZ送入的Oracle数据，入库到PostgreSQL Oracle->DBZ->Kafka->Flink->PostgreSQL CREATE TABLE t1_kafka ( F1 BIGINT NOT NULL, -- 注意字段大小写与Oracle保持一阅读全文

posted @ 2022-12-05 22:58 大雨点阅读(77) 评论(0) 推荐(0)

12 Debezium Oracle Logminer

摘要：本文目标用logminer模式抽取Oracle日志数据 touch data/logminer_offsets.dat [yinyx@hostyyx conf]$ cat application.properties quarkus.http.port=8999 rkus.log.level=IN 阅读全文

posted @ 2022-12-05 22:57 大雨点阅读(287) 评论(0) 推荐(0)

11 Oracle19c打开logminner

摘要：本文目标打开Oracle的logminner日志参考文章 https://support.huaweicloud.com/usermanual-roma/fdi-ug-190624017.html https://debezium.io/documentation/reference/2.0/c 阅读全文

posted @ 2022-12-05 22:56 大雨点阅读(413) 评论(0) 推荐(0)

10 Debezium Oracle xstream

摘要：本文目标部署debezium server 读取OracleXstream日志，发送到Kafka 部署Oracle客户端下载客户端 https://www.oracle.com/database/technologies/instant-client/linux-x86-64-downloads 阅读全文

posted @ 2022-12-05 22:55 大雨点阅读(565) 评论(0) 推荐(0)

9 Oracle19c打开xstream

摘要：本文目标为Oracle19c打开xstream，为了让Debezium能够读取日志变化参考文章 https://support.huaweicloud.com/usermanual-roma/fdi-ug-190624013.html 打开归档修改管理员密码 [oracle@hostyyx ~ 阅读全文

posted @ 2022-12-05 22:54 大雨点阅读(442) 评论(1) 推荐(0)

CentOS7安装Oracle-19c

摘要：本文目标 CentOS7使用rpm安装Oracle19c企业版安装前准备 yum update (可选) yum install -y compat-libcap1 compat-libstdc+±33 gcc-c++ ksh libaio-devel libstdc+±devel elfutil 阅读全文

posted @ 2022-12-05 10:29 大雨点阅读(479) 评论(0) 推荐(0)

2022年12月3日

7 PostgreSQL绿色版

摘要：本文目标制作PostgreSQL-15.1绿色版，简化以后搭建测试环境。内置数据库test 内置用户test，密码test，可远程登陆，管理员权限 ./start.sh 启动 ./stop.sh 停止 ./cmd.sh test用户和库的命令行 ./admin.sh 超级用户权限命令行 yum安阅读全文

posted @ 2022-12-03 20:59 大雨点阅读(267) 评论(0) 推荐(0)

6 Flink同步

摘要：本文目标 Flink消费DBZ推送到Kafka的JSON数据，存入PostgreSQL 创建kafka的映射表 CREATE TABLE t1_kafka ( f1 BIGINT NOT NULL, f2 STRING, f3 TIMESTAMP(0) METADATA FROM 'value.so 阅读全文

posted @ 2022-12-03 20:58 大雨点阅读(112) 评论(0) 推荐(0)

公告