摘要：场景 canal 同步Mysql一段时间后突然失败,报如如下错误： 2021-08-06 16:16:51.732 [MultiStageCoprocessor-Parser-Twt_instance-5] WARN c.a.o.canal.parse.inbound.mysql.dbsync.Lo 阅读全文

摘要：canal+mysql+kafka安装配置 概述 简介 canal译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。 基于日志增量订阅和消费的业务包括 数据库镜像 数据库实时备份 索引构建和实时维护(拆分异构索引、倒排索引等) 业务 cache 刷新 带 阅读全文

摘要：安装环境或方式 环境： centos7_64 安装方式：官网下载安装mysql server ps:mysql安装其实不难，但是并没有把步骤记下来，所以我把安装的步骤整理出来方便以后使用 安装mysql 顺序执行下列语句 配置mysql 1. 配置编码格式 /etc/my.cnf 最后面添加 def 阅读全文

摘要：Spark处理后的结果数据resultDataFrame可以有多种存储介质，比较常见是存储为文件、关系型数据库，非关系行数据库。 各种方式有各自的特点，对于海量数据而言，如果想要达到实时查询的目的，使用HBase作为存储的介质是非常不错的选择。 现需求是：Spark对Hive、mysql数据源进行处 阅读全文

摘要：Spark：DataFrame写文件，追加，覆盖 阅读全文

摘要：Spark将DataFrame进行一些列处理后，需要将之写入mysql，下面是实现过程 1.mysql的信息 mysql的信息我保存在了外部的配置文件，这样方便后续的配置添加。 1 //配置文件示例： 2 [hdfs@iptve2e03 tmp_lillcol]$ cat job.propertie 阅读全文