摘要：
1.需求：自动建表将需要的sqlserver任意表迁移到mysql 2.基础信息： sqlserver数据库：zhc_test mysql数据库：test 3.整个过程需要2个job，4个trans 4.JAVA代码 public boolean processRow(StepMetaInterfa
阅读全文
posted @ 2023-03-13 15:52
zhangdapangzi
阅读(649)
推荐(0)
摘要：
kettle 安装配置 http://wiki.pentaho.com/display/BAD/Extracting+Data+from+HDFS+to+Load+an+RDBMS 安装Kettle需先安装jdk，配置环境变量，安装JDK时jdk bin和jre要在一个JDK目录下
阅读全文
posted @ 2023-03-13 15:48
zhangdapangzi
阅读(63)
推荐(0)
摘要：
kettle将数据加载到hadoop集群 1..将数据加载到HDFS a)启动Hadoop，创建Job，把文件放进Hadoop b)在桌面上打开PDI(kettle)：选择“文件（file）”-“新建（new）”-“job” c)添加启动项工作：你需要告诉PDI从哪开始的Job，所以点开设计面板的“
阅读全文
posted @ 2023-03-13 15:48
zhangdapangzi
阅读(363)
推荐(0)
摘要：
Kettle遇到的问题 Kettle基础 kettle有两种保存方式：一种是资源库方式（数据库），一种是文件格式（XML） kettle有两种类型Transformation和Job，Transformation完成针对数据的基础转换，Job则完成整个工作流的控制 3.kettle跨平台使用 a)
阅读全文
posted @ 2023-03-13 15:45
zhangdapangzi
阅读(497)
推荐(1)
摘要：
Kettle命令行使用说明 1.Kitchen——作业执行器(后缀名：kjb) 是一个作业执行引擎，用来执行作业。这是一个命令行执行工具，参数说明如下。 -rep:Repositoryname任务包所在存储名 -user:Repositoryusername执行人 -pass:Repositoryp
阅读全文
posted @ 2023-03-13 15:45
zhangdapangzi
阅读(229)
推荐(0)
摘要：
// (new Date()).Format("yyyy-MM-dd hh:mm:ss.S") ==> 2006-07-02 08:09:04.423 Date.prototype.Format = function (fmt) { var o = { "M+": this.getMonth() +
阅读全文
posted @ 2023-03-13 15:44
zhangdapangzi
阅读(15)
推荐(0)
摘要：
1、开启防火墙 systemctl start firewalld 2、开放指定端口 firewall-cmd --zone=public --add-port=1935/tcp --permanent 命令含义： --zone #作用域 --add-port=1935/tcp #添加端口，格式为：
阅读全文
posted @ 2023-03-13 15:41
zhangdapangzi
阅读(59)
推荐(0)
摘要：
https://blog.csdn.net/love_yu_er/article/details/88634274 适用系统：Linux（Redhat , CentOS，Debian，Ubuntu） * Linux的云服务器数据盘未做分区和格式化，可以根据以下步骤进行分区以及格式化操作。 下面的操作
阅读全文
posted @ 2023-03-13 15:40
zhangdapangzi
阅读(47)
推荐(0)
摘要：
acl.json { "datacenter":"dc1", "acl": { "enabled": true, "default_policy": "deny", "down_policy": "extend-cache", "tokens": { "master": "91d4fd76-dc33
阅读全文
posted @ 2023-03-13 15:38
zhangdapangzi
阅读(21)
推荐(0)
摘要：
引言 docker所在服务器，在运行了一段时间后，服务器磁盘目录渐渐不够用。 通过du -h --max-depth=1 / 逐级目录排查，发现/var/lib/docker目录文件过大。 解决方法 转移数据修改docker默认存储位置 建议：在docker安装完后，修改docker默认存储位置为其
阅读全文
posted @ 2023-03-13 15:34
zhangdapangzi
阅读(84)
推荐(0)
摘要：
1.docker端口映射或启动容器时报错Error response from daemon: driver failed programming external connectivity on endpoint quirky_allen Error response from daemon: d
阅读全文
posted @ 2023-03-13 15:32
zhangdapangzi
阅读(44)
推荐(0)
摘要：
1.搭建zookeeper集群 docker-compose.yml文件 version: '3.1' services: zoo1: image: zookeeper restart: always hostname: zoo1 ports: - 2181:2181 environment: ZO
阅读全文
posted @ 2023-03-13 15:29
zhangdapangzi
阅读(201)
推荐(0)
摘要：
1.elasticsearch https://www.elastic.co/guide/en/elasticsearch/reference/7.5/docker.html 1.1.docker pull elasticsearch:7.13.0 (docker pull elasticsearc
阅读全文
posted @ 2023-03-13 15:28
zhangdapangzi
阅读(32)
推荐(0)
摘要：
一.安装python3.6.1 1.安装依赖环境（必须安装否则会出现python3编译器中不能使用退格键和方向键） yum install readline-devel gcc make patch gdbm-devel openssl-devel sqlite-devel readline-dev
阅读全文
posted @ 2023-03-13 15:25
zhangdapangzi
阅读(177)
推荐(0)
摘要：
1.路径 mkdir /home/datax-web cd /home/datax-web 2.下载 https://github.com/WeiYe-Jing/datax-web https://pan.baidu.com/s/13yoqhGpD00I82K4lOYtQhg 密码：cpsk 3.解
阅读全文
posted @ 2023-03-13 15:23
zhangdapangzi
阅读(194)
推荐(0)
摘要：
# 添加定时任务crontab -e#每天23点50分执行sh脚本50 23 * * * /opt/datax/sync_gym_course_add.sh#每隔30分钟执行sh脚本*/30 * * * * /opt/datax/sync_gym_course_add.sh #查看crontab日志
阅读全文
posted @ 2023-03-13 15:19
zhangdapangzi
阅读(361)
推荐(0)
摘要：
1.安装nginx yum install -y nginx 2.启动nginx systemctl start nginx.service 3.设置开机自启 systemctl enable nginx.service 4.nginx 配置信息 网站文件存放默认位置（Welcome to ngin
阅读全文
posted @ 2023-03-13 15:16
zhangdapangzi
阅读(178)
推荐(0)
摘要：
SELECT SPID = er.session_id ,Status = ses.status ,[Login] = ses.login_name ,Host = ses.host_name ,BlkBy = er.blocking_session_id ,DBName = DB_Name(er.
阅读全文
posted @ 2023-03-13 15:13
zhangdapangzi
阅读(115)
推荐(0)
摘要：
遇到的问题： 查看mysql-bin-00001日志内容，默认配置用户对/var/lib/mysql下的binlog文件没有读的权限，只有写的权限，所以需要先对该用户赋权： chown -R mysql:huichao /var/lib/mysql 查看日志内容： mysqllogbin /var/
阅读全文
posted @ 2023-03-13 15:12
zhangdapangzi
阅读(104)
推荐(0)
摘要：
#先运行全量备份，再运行增量备份 #!/bin/sh #需求,对数据库进行全量备份 #备份日期 dumpDate=$(date "+%Y%m%d") #三天前的日期 old=$(date -d"3 day ago" +"%Y%m%d") #备份开始详细时间 startTime=$(date "+%Y
阅读全文
posted @ 2023-03-13 15:11
zhangdapangzi
阅读(163)
推荐(0)
摘要：
一,架构层面 1.做主从复制 2.实现读写分离 3.分库分表 二.系统层面 1.增加内存 2.硬盘使用固态硬盘SSD 3.给磁盘做raid0或者raid5以增加磁盘的读写速度 4.可以重新挂载磁盘，并加上noatime参数，这样可以减少磁盘的I/O 三.mysql本身的优化 1.如果未配置主从同步，
阅读全文
posted @ 2023-03-13 15:07
zhangdapangzi
阅读(47)
推荐(0)
摘要：
需求：恢复replication主从，数据保持一致 1.对主库进行锁表，防止数据写入（在活跃度低的时候做） mysql> flush tables with read lock; 2.在主库进行数据库备份 docker exec -it mysql_zpc_master mysqldump -uhu
阅读全文
posted @ 2023-03-13 15:00
zhangdapangzi
阅读(38)
推荐(0)
摘要：
#!/bin/bash #查看当前各个容器的CPU状态,并将结果覆盖输出到文件 docker stats --no-stream --format '{{.Container }} {{ .CPUPerc }}' > container.text; #获取文件行数 rowNumber=$(awk '
阅读全文
posted @ 2023-03-13 14:59
zhangdapangzi
阅读(194)
推荐(0)
摘要：
SELECT DISTINCT id, substring_index( substring_index( a.replacedPartCodes, ',', b.help_topic_id + 1 ), ',',- 1 ) FROM supersession a JOIN mysql.help_t
阅读全文
posted @ 2023-03-13 14:58
zhangdapangzi
阅读(58)
推荐(0)
摘要：
一、show engine innodb status 简介： show engine innodb status 是mysql提供的一个用于查看innodb引擎时间信息的工具，就目前来说有两处比较 常用的地方一、死锁分析 二、innodb内存使用情况 二、通过show engine innodb
阅读全文
posted @ 2023-03-13 14:57
zhangdapangzi
阅读(139)
推荐(0)
摘要：
硬件优化： 1.为提高数据库的IOPS性能，可以使用ssd或者pcie-ssd告诉磁盘设备 2.当数据库系统tps过高或者业务量较高时，一定要配置阵列卡，阵列级别选择REID1+0，而不要选择其他格式 3.在服务器的BIOS层面，设置CPU建议采用最大性能模式，选择performance per w
阅读全文
posted @ 2023-03-13 14:56
zhangdapangzi
阅读(60)
推荐(0)
摘要：
1.查看从库上mysql的错误日志，里面有记录主从挂掉时的binlog信息 2.有了binlog和position信息后，只需要重新在从库上进行change master to配置即可，配置后开启slave状态，没有报错 3.查看slave状态，发现slave已经正常了，开始进行延时数据恢复 详细：
阅读全文
posted @ 2023-03-13 14:55
zhangdapangzi
阅读(187)
推荐(0)
摘要：
1.确保所有的relay log全部更新完毕，在每个从库上执行show processlist 2.更新完毕后，登录所有从库查看master.info文件，对比选择pos最大的作为新的主库 3.然后登录这个新的主库，执行stop slave，进入主目录，删除master.info和relay-log
阅读全文
posted @ 2023-03-13 14:53
zhangdapangzi
阅读(508)
推荐(0)
摘要：
使用top查看CPU，显示正常 使用iostat –x 1查看磁盘IO负载 %util接近100%，表明io请求过多，io系统满负载 考虑是不是查询过多， 发现table_open_cache=Open_tables，且opend_tables非常大 说明cache缓存太小，导致要频繁的open t
阅读全文
posted @ 2023-03-13 14:51
zhangdapangzi
阅读(165)
推荐(0)
摘要：
1.5.7及以下版本 DROP FUNCTION IF EXISTS alphanum ;CREATE FUNCTION alphanum(prm_strInput varchar(255))RETURNS VARCHAR(255)DETERMINISTICBEGIN DECLARE i INT D
阅读全文
posted @ 2023-03-13 14:48
zhangdapangzi
阅读(273)
推荐(0)
摘要：
create function char_index(@string varchar(8000),@char varchar(64),@index int) --@string:待查找字符串，@index:查找位置 returns int as begin declare @i int,--当前找到
阅读全文
posted @ 2023-03-13 14:45
zhangdapangzi
阅读(47)
推荐(0)
摘要：
# PXC 单写入节点 ProxySQL 配置说明 ## 参考 1. [ProxySQL Read Write Split (HOWTO)](https://github.com/malongshuai/proxysql/wiki/ProxySQL-Read-Write-Split-(HOWTO))
阅读全文
posted @ 2023-03-13 14:44
zhangdapangzi
阅读(127)
推荐(0)
摘要：
1.mkdir -p ~/.ssh 2. 生成秘钥（一路回车默认即可） ssh-keygen 3.将公钥上传到远程服务器（单向，不需要私钥） ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.0.124 4.在远程服务器上重启 service sshd re
阅读全文
posted @ 2023-03-13 14:41
zhangdapangzi
阅读(26)
推荐(0)
摘要：
yum install docker启动报错，错误如下：Failed to start docker.service: Unit docker.service not found.错误分析：CentOS 8 中安装 docker 和 Podman 冲突 1.查看是否安装 Podmanrpm -q p
阅读全文
posted @ 2023-03-13 14:36
zhangdapangzi
阅读(133)
推荐(0)
摘要：
需在没人的时候操作，先停服务 mkdir -p /data/logs/zpc_mall_console mv /home/workspace/logs/zpc_mall_console/* /data/logs/zpc_mall_console ln -s /data/logs/zpc_mall_c
阅读全文
posted @ 2023-03-13 14:35
zhangdapangzi
阅读(40)
推荐(0)
摘要：
#/bin/bash #1.docker pull zookeeper and kafka docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka #2.docker run zookeeper docker stop zo
阅读全文
posted @ 2023-03-13 14:33
zhangdapangzi
阅读(22)
推荐(0)
摘要：
docker pull fabiolb/fabio #/bin/sh docker stop fabio docker rm fabio docker run -idt \ --restart=always \ --net=host \ --name=fabio \ -p 9998:9998 \ -
阅读全文
posted @ 2023-03-13 14:32
zhangdapangzi
阅读(29)
推荐(0)
摘要：
1.单节点 #/bin/bash #1.docker pull consul docker pull consul #2.create data and config dir mkdir -p /home/consul/{config,data} #3.docker run consul docke
阅读全文
posted @ 2023-03-13 14:31
zhangdapangzi
阅读(39)
推荐(0)
摘要：
#!/bin/sh #日志查找路径 logFolders=("/home/workspace/logs/zpc_mall_console" "/home/workspace/logs/zpc_mall_messaging"); zipLogTime=`date "+%Y-%m-%d"`; #查找2天
阅读全文
posted @ 2023-03-13 14:28
zhangdapangzi
阅读(44)
推荐(0)
摘要：
cd /var/nginx mkdir cert rz上传相应的key和pem 5403683__xxxx.com.key 5403683__xxxx.com.pem
阅读全文
posted @ 2023-03-13 14:27
zhangdapangzi
阅读(53)
推荐(0)
摘要：
show variables like "%character%"; set character_set_server=utf8mb4; 或者修改/etc/my.cnf或者/etc/mysql/my.cnf [client] default-character-set = utf8mb4 [mysq
阅读全文
posted @ 2023-03-13 14:23
zhangdapangzi
阅读(17)
推荐(0)
摘要：
这几天遇到一个数据迁移的需求，要把老服务器的数据迁移到新的服务器上去，因为Mysql是放在Docker里面的，所以只需要迁移配置文件和数据卷即可，但是这过程中并不是一帆风顺的，特此记录一下。 从旧的服务器上查看Mysql容器的信息。 首先使用docker ps来查看正在运行的容器，如果你的容器尚未运
阅读全文
posted @ 2023-03-13 14:22
zhangdapangzi
阅读(258)
推荐(0)
摘要：
#/bin/bash #1.docker pull jenkins docker pull jenkins #2.docker run jenkins docker run -idt \ --restart=always \ --name jenkins \ -p 8080:8080 \ -p 50
阅读全文
posted @ 2023-03-13 14:07
zhangdapangzi
阅读(23)
推荐(0)
摘要：
docker stop kafka-manager docker rm kafka-manager docker run -idt \ --name kafka-manager \ -p 9000:9000 \ --restart=always \ -e ZK_HOSTS="10.10.10.10:
阅读全文
posted @ 2023-03-13 14:06
zhangdapangzi
阅读(66)
推荐(0)
摘要：
添加gzip配置 gzip on; gzip_buffers 32 4K; gzip_comp_level 6; gzip_min_length 100; gzip_types application/javascript text/css text/xml application/json tex
阅读全文
posted @ 2023-03-13 13:43
zhangdapangzi
阅读(37)
推荐(0)
摘要：
#/bin/bash #1.docker pull redis docker pull redis #2.create redis date dir mkdir -p /home/redis/data #3.download redis.conf from online cd /home/redis
阅读全文
posted @ 2023-03-13 11:58
zhangdapangzi
阅读(25)
推荐(0)
摘要：
1.squid-server需要两个IP，一个公网一个私网 2.client端只需要和squid-server能互通就行，不需要指定gw和dns 3.client端需要在浏览器上设置代理服务器端IP和端口 4.squid-server可以上外网（要能访问2.2.2.2），client不能上外网，目的
阅读全文
posted @ 2023-03-13 11:57
zhangdapangzi
阅读(113)
推荐(0)
摘要：
Squid Cache（简称为Squid）是HTTP代理服务器软件。Squid用途广泛，可以作为缓存服务器，可以过滤流量帮助网络安全，也可以作为代理服务器链中的一环，向上级代理转发数据或直接连接互联网。Squid程序在Unix一类系统运行。由于它是开源软件，有网站修改Squid的源代码，编译为原生W
阅读全文
posted @ 2023-03-13 11:52
zhangdapangzi
阅读(546)
推荐(0)
摘要：
#!/bin/sh #日志查找路径 logFolders=("/home/workspace/logs/zpc_mall_payment"); zipLogTime=`date -d "$(date +%Y%m)01 last month" +%Y-%m`; #查找2天前的日志 for logFol
阅读全文
posted @ 2023-03-13 11:47
zhangdapangzi
阅读(23)
推荐(0)
摘要：
1.查看even_schedule是否开启，如果没开启，使用下面命令开启，阿里云服务器需要在管理后台开启 SET GLOBAL event_scheduler=ON; 2.创建PROCEDURE存储过程 DROP PROCEDURE IF EXISTS KeepMessageDatasWith60D
阅读全文
posted @ 2023-03-13 11:46
zhangdapangzi
阅读(90)
推荐(0)
