摘要：
1、工具binlog2sql使用： 已测试环境（此工具使用时字段多时有时候存在字段和字段值不配的情况，如是生产环境，建议测试环境先查看后再导入生产） * Python 2.7, 3.4+ * MySQL 5.6, 5.7 安装 shell> git clone https://github.com/ 阅读全文
posted @ 2022-08-09 22:19
Harda
阅读(744)
评论(0)
推荐(0)
摘要：
1、上传安装包 mysql-5.7.34-linux-glibc2.12-x86_64.tar.gz 2、首先升级备库，再升级主库，步骤如下： 1）登陆 mysql -uroot -pMsql#\!456 -S /dbdata/mysql5724/data3306/my3306.sock 2）sho 阅读全文
posted @ 2022-07-26 17:48
Harda
阅读(710)
评论(0)
推荐(0)
摘要：
1.mysql5.7字符编码的问题 mysql5.7和之前版本，默认字符集为latin1，直接插入中文字符的时候会出现乱码的情况。所以在安装5.7及之前的版本的mysql的时候要把字符编码修改为utf8字符集，utf8字符集指的是utf8mb3。从mysql8.0开始，数据库默认字符编码改为utf8 阅读全文
posted @ 2022-07-20 14:49
Harda
阅读(18250)
评论(1)
推荐(2)
摘要：
1、MySQL库名、表名大小写验证规则设置 1.1 MySQL使用lower_case_table_names 该参数设置库名、表名大小写验证规则。lower_case_table_names 取值结果：1/0，配置文件中如果定义该参数值是1，则该参数值=1；如果定义该参数是除1以外的整数，则该参数 阅读全文
posted @ 2022-04-06 12:54
Harda
阅读(1841)
评论(0)
推荐(0)
摘要：
1、master thread 线程它是后台线程的主线程，优先级最高。其内部又4个循环，分别为主 阅读全文
posted @ 2022-03-02 17:38
Harda
阅读(186)
评论(0)
推荐(0)
摘要：
一、安装前系统环境检测 1、Selinux和系统防火墙iptables需要关闭 要把selinux设置成disable，设置完成后需重启系统 cat /etc/sysconfig/selinux 查看iptables当前状态与关闭过程 chkconfig --list chkconfig iptab 阅读全文
posted @ 2022-02-27 14:18
Harda
阅读(172)
评论(0)
推荐(0)
摘要：
问题现象：效率低，造成前端文件积压 造成SDFS向hbase集群写文件效率低，发生积压的主要原因为以下： 1. Hbase regionserver服务JVM 堆内存新生代和老生代的使用率较高，GC次数频繁（服务启动至今发生过3W多次）及GC时间较长。 2. 目前每个节点平均700多个region， 阅读全文
posted @ 2022-02-26 16:33
Harda
阅读(305)
评论(0)
推荐(0)
摘要：
一、集群现状： 集群2管理节点+14数据节点，一台数据节点硬件异常，相应进程未启动，每台主机物理cpu16c，yarn配置了15c，目前集群共有15*13=195c 二、队列配置 集群分为straapp、e3base、generate三个队列 1、straapp跑的是mr作业 2、e3base跑的是 阅读全文
posted @ 2022-02-26 15:20
Harda
阅读(389)
评论(0)
推荐(0)
摘要：
适应场景：解决数据节点上的磁盘失衡的痛点，如：扩容磁盘或磁盘更换等 均衡步骤： 1、修改文件 hdfs-site.xml中的参数dfs.disk.balancer.enabled 值设置为true 2、开始均衡磁盘（分三分进行分别为：plan, execute, query) 一步，HDFS客户端从 阅读全文
posted @ 2022-02-26 15:11
Harda
阅读(295)
评论(0)
推荐(0)
摘要：
1、Hadoop集群小文件太多 Hadoop集群小文件太多，数据节点太少，消耗大量缓存，随着业务数据量变多，hdfs反应速度会越来越慢，效率越来越低 （1）yarn日志（paas侧清理） （2）hbase表，虽然整体数据量不算大，但是表太多，很多表是2017、2018、2019年的表，建议清理（CR 阅读全文
posted @ 2022-02-26 15:05
Harda
阅读(106)
评论(0)
推荐(0)
浙公网安备 33010602011771号