摘要: 一、场景 目前使用s3替代hdfs作为hive表数据存储,使用spark sql insert数据到hive表,发现一个简单的查询+插入任务,查询+insert的动作显示已经执行完,任务还在跑,直到跑了两个小时后才执行结束。 二、原因 s3对spark默认的commit操作兼容性不强,spark有两 阅读全文
posted @ 2022-10-13 17:37 wss96 阅读(203) 评论(0) 推荐(0) 编辑
摘要: springboot异步线程池配置 package com.sangfor.api.config; import org.springframework.aop.interceptor.AsyncUncaughtExceptionHandler; import org.springframework 阅读全文
posted @ 2022-10-13 10:33 wss96 阅读(398) 评论(0) 推荐(0) 编辑
摘要: 下面案例是配置多数据源,两个及以上,但是主数据源只能是一个,默认mybatis使用的是主数据源 下面配置mysql为主数据源,通过注解@Primary标注 yaml文件配置: spring: datasource: mysqlMain: #mysql主数据源,可关联mybatis type: com 阅读全文
posted @ 2022-10-13 10:28 wss96 阅读(1112) 评论(2) 推荐(0) 编辑
摘要: 一、准备工作 1.安装docker-ce (有docker老版本也可以直接使用) 安装依赖的软件包 yum install -y yum-utils device-mapper-persistent-data lvm2 配置Docker的阿里云yum源 1 yum-config-manager -- 阅读全文
posted @ 2021-09-02 12:08 wss96 阅读(243) 评论(0) 推荐(0) 编辑
摘要: 一、准备工作 1.安装docker-ce (有docker老版本也可以直接使用) 安装依赖的软件包 yum install -y yum-utils device-mapper-persistent-data lvm2 配置Docker的阿里云yum源 1 yum-config-manager -- 阅读全文
posted @ 2021-09-02 12:00 wss96 阅读(212) 评论(0) 推荐(0) 编辑
摘要: 一、准备工作 安装docker-ce (有docker老版本也可以直接使用) 安装依赖的软件包 yum install -y yum-utils device-mapper-persistent-data lvm2 配置Docker的阿里云yum源 1 yum-config-manager --ad 阅读全文
posted @ 2021-09-02 11:53 wss96 阅读(919) 评论(0) 推荐(0) 编辑
摘要: 一、准备工作 1.安装docker-ce (有docker老版本也可以直接使用) 安装依赖的软件包 yum install -y yum-utils device-mapper-persistent-data lvm2 配置Docker的阿里云yum源 1 yum-config-manager -- 阅读全文
posted @ 2021-09-02 11:45 wss96 阅读(504) 评论(0) 推荐(0) 编辑
摘要: 1. Docker安装 1.1. 卸载旧版本 1 sudo yum remove docker \ 2 docker-client \ 3 docker-client-latest \ 4 docker-common \ 5 docker-latest \ 6 docker-latest-logro 阅读全文
posted @ 2021-09-02 11:28 wss96 阅读(56) 评论(0) 推荐(0) 编辑
摘要: 准备工作 安装docker-ce (有docker老版本也可以直接使用) 安装依赖的软件包 yum install -y yum-utils device-mapper-persistent-data lvm2 配置Docker的阿里云yum源 1 yum-config-manager --add- 阅读全文
posted @ 2021-09-02 11:21 wss96 阅读(68) 评论(0) 推荐(0) 编辑
摘要: 1. Debezium简介 Debezium 是一个分布式平台,它将现有的数据库转换为事件流,应用程序消费事件流,就可以知道数据库中的每一个行级更改,并立即做出响应。Debezium 构建在 Apache Kafka 之上,并提供 Kafka 连接器来监视特定的数据库。在介绍 Debezium 之前 阅读全文
posted @ 2021-07-09 17:35 wss96 阅读(3898) 评论(1) 推荐(4) 编辑