摘要: 变更数据捕获(Change Data Capture ,简称 CDC)记录 SQL Server 表的插入、更新和删除活动。SQLServer的操作会写日志,这也是CDC捕获数据的来源 开启cdc的源表在插入、更新和删除活动时会插入数据到日志表中。cdc通过捕获进程将变更数据捕获到变更表中,通过cd 阅读全文
posted @ 2021-06-21 17:43 Nahshon 阅读(1573) 评论(0) 推荐(0) 编辑
摘要: 需求:在对表A 执行 insert操作时,筛选符合条件的数据 insert到表B中,编写为存储过程(postgreSQL数据库) [筛选条件]:1. dd !="A" 或是 dd为 null;2. aa 字段第【3】位="5"或="6";3. 满足条件1不满足2的数据将字段 aa、bb、cc插入表 阅读全文
posted @ 2020-11-11 10:36 Nahshon 阅读(723) 评论(0) 推荐(0) 编辑
摘要: 在idea中报: Can't finish Gitee sharing processSuccssully created project 'dmp' on Gitee. but initial commit failed: 并且在 Gitee 仓库 只有 .git 文件 . 解决办法: 1、在桌面 阅读全文
posted @ 2020-05-04 16:27 Nahshon 阅读(1445) 评论(0) 推荐(0) 编辑
摘要: Spark Streaming从flume 中使用Poll拉取数据时,报如下错误: Error while processing transaction. java.lang.IllegalStateException: begin() called when transaction is OPEN 阅读全文
posted @ 2020-04-08 19:03 Nahshon 阅读(656) 评论(0) 推荐(0) 编辑
摘要: 使用SparkSQL编写wordCount的词频统计: word.txt 文件: hello hello scala spark java sql html java hello jack jack tom tom you he he sql IDEA编写的 spark 代码: object Wor 阅读全文
posted @ 2020-03-30 21:08 Nahshon 阅读(794) 评论(0) 推荐(0) 编辑
摘要: 使用IDEA操作Hbase API 报错:org.apache.hadoop.hbase.client.RetriesExhaustedException的解决方法: 1.错误详情: Exception in thread “main” org.apache.hadoop.hbase.client. 阅读全文
posted @ 2020-02-14 20:35 Nahshon 阅读(1832) 评论(0) 推荐(0) 编辑
摘要: 搭建Hadoop集群需要注意的问题: 1.检查三台主机名是否正确 2.检查三台IP是否正确 3.检查 /etc/hosts 映射是否正确 4.检查 JDK和Hadoop 是否安装成功(看环境变量配置) 键入 :sudo vi /etc/profile进到文件之后,检查环境变量配置是否正确: 5.检查 阅读全文
posted @ 2019-12-15 13:15 Nahshon 阅读(159) 评论(0) 推荐(0) 编辑