乌云散尽

摘要： Idea打包方式 打一个empty只包含编译文件的包，artifact > 点击+ > jar > Empty > Output layout > 选择相关模块下的 complie output即可 打包一个Empty包含编译文件和依赖的包，artifact > 点击+ > jar > Empty 阅读全文

摘要： Canal介绍原理 Canal是阿里巴巴开源的一款主要用于数据库同步业务的项目，基于数据库的日志解析，获取增量变更进行同步，衍生出了Canal增量订阅&消费的实时数据库同步。 基本原理： 1、canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master 阅读全文

摘要： 目标是搭建三节点kafka环境 依赖于上一章搭建的zk集群参考步骤 下载kafka软件 Kafka官网 解压kafka_2.13-2.8.1.tgz文件，重名名为kafka_2.13-2.8.1-0 配置config下的server.properties文件 #唯一标识 broker.id=0 #监 阅读全文

摘要： 目标是搭建3节点zk集群 下载与搭建zookeeper软件 先​​​​​zookeeper官网 下载软件 https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz 阅读全文

摘要： Hive日期时间函数 在impala上执行的几种结果，供参考 select to_date(concat(substr(from_unixtime(unix_timestamp(),'yyyy-MM-dd'),1,8),'01')) select current_timestamp() --2022 阅读全文

摘要： 目的是实现oracle连接查询 引入maven相关依赖 编写spark相关代码 遇到的问题 引入相关依赖,完整的pom文件 点击cdp的配置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/ 阅读全文

摘要： 读源码过程Structure可以助力尽快看完 p property,是字段对应的方法 f filed,就是对应的字段 阅读全文

摘要： SimpleDateFormate转化过程中时间差异问题 先说明问题，sdf转化当前时间，会比正常的系统时间早十几分钟，出现这种问题是不够细心啊，大小写问题 sdf 接收的 参数大小写如下 年 | 月 |日 |时 | 分 | 秒 | | | | | y|M|d|H | m| s 具体问题 错误写法 阅读全文

摘要： 对于不对得实验才知道结果 get 不以’/'开头时默认是从此类所在的包下取资源，以’/'开头则是从 ClassPath根下获取 InputStream inputStream = KuduUtil.class.getResourceAsStream("/config-kudu.properties" 阅读全文

摘要： 发布的问题 mvn clean package project -am -Pcdp -DskipTests=true 之后将打包好的包上传到相关路径 提交任务与Kerberos文件配置 spark-submit \ --master yarn \ --deploy-mode cluster \ -- 阅读全文