2024年5月5日
FLINKCDC3.0 datastream程序运行测试
摘要： 1.编写程序本地运行正常 2.程序正常打包 3.提交作业到FLINK集群 ./bin/flink run -m hdf1:8081 -c com.org.cdc.FlinkCDCDataStreamTest ./FlinkCdc-test.jar 4.监控作业运行 作业正常运行，cud查看 task 阅读全文
posted @ 2024-05-05 08:50 自在现实 阅读(148) 评论(0) 推荐(0)
FLINK CDC同步
摘要： 1. 2. 阅读全文
posted @ 2024-05-05 08:49 自在现实 阅读(20) 评论(0) 推荐(0)
FLINK CDC部署同步
摘要： 1.standalone https://github.com/apache/flink-cdc/blob/master/docs/content/docs/deployment/standalone.md 2.yarn https://github.com/apache/flink-cdc/blo 阅读全文
posted @ 2024-05-05 08:49 自在现实 阅读(260) 评论(0) 推荐(0)
2024年4月25日
FLINKCDC 3.0整库同步MYSQL至DORIS（FLINK1.18）： 历程
摘要： 大数据技术涉及组件较多，各个环境较DEMO又不尽相同，所以参照DEMO进行，任然很多报错信息出现。 如下报错处理，尽供参考： 1.创建同步配置文件 ############################################################################ 阅读全文
posted @ 2024-04-25 20:37 自在现实 阅读(2328) 评论(2) 推荐(0)
修改数据库排序规则
摘要： ALTER DATABASE [db01] COLLATE Chinese_PRC_CI_AS 2个数据排序规则不一致时，使用此语句修改。 修改后新建的表，默认为此排序规则。 阅读全文
posted @ 2024-04-25 11:05 自在现实 阅读(35) 评论(0) 推荐(0)
2024年4月24日
其他机器无法访问flink webUI
摘要： flink-conf.yaml rest.bind-address: localhost 改为 rest.bind-address: 0.0.0.0 阅读全文
posted @ 2024-04-24 22:40 自在现实 阅读(57) 评论(0) 推荐(0)
2024年4月23日
公历日期转农历日期
摘要： -- Author : 原著： 改编：htl258(Tony) -- Date : 2010-04-24 06:39:55 -- Version:Microsoft SQL Server 2008 (RTM) - 10.0.1600.22 (Intel X86) -- Jul 9 2008 14:4 阅读全文
posted @ 2024-04-23 14:06 自在现实 阅读(56) 评论(0) 推荐(0)
2024年4月22日
Failed to start OpenSSH server daemon
摘要： sshd突然无法启动，排查是相关文件夹及文件无权限。 赋予权限 sudo chown -R root:root /etc/empty/sshd sudo chmod 777 /etc/ssh/sshd_config 阅读全文
posted @ 2024-04-22 09:39 自在现实 阅读(427) 评论(0) 推荐(0)
2024年4月21日
FLINK SQL JDBC同步
摘要： 1.可以作为数据同步工具使用 1.FLINK jdbc连接器可读可写，实现jdbc数据同步 CREATE TABLE ft( id INT, name varchar(50), PRIMARY KEY (id) NOT ENFORCED ) WITH ( 'connector' = 'jdbc', 阅读全文
posted @ 2024-04-21 00:17 自在现实 阅读(216) 评论(0) 推荐(0)
FLINK SQL CDC 同步
摘要： 1.源端使用CDC，目标端常规jdbc CREATE TABLE ftin ( id INT, name VARCHAR(50), PRIMARY KEY (id) NOT ENFORCED ) WITH ( 'connector' = 'sqlserver-cdc', 'hostname' = ' 阅读全文
posted @ 2024-04-21 00:15 自在现实 阅读(176) 评论(0) 推荐(0)