摘要：
Hbase迁移方法较多，本次使用的是逆向恢复，即直接将hbaes数据目录get到本地，并put到新集群的hdfs目录下，并进行元数据恢复，简单粗暴，以下为详细步骤： 1. 在源集群上将hbase表整个目录get到本地磁盘 hdfs dfs -get /hbase/data/namespace/tab 阅读全文
摘要：
Clickhouse版本：20.3.6.40-2 Zookeeper版本：3.4.14 clickhouse集群三个节点，一分片，三副本，三个节点数据完全一样 1. 问题描述 drop一张表时主节点（自定义）首先报错超时，其它两个从节点删除成功。 2. 问题定位 日志显示： zk显示，发现这张表副本 阅读全文
摘要：
Clickhouse版本：20.3.6.40-2 Zookeeper版本：3.4.14 clickhouse集群三个节点，一分片，三副本，三个节点数据完全一样 1. 问题描述 在使用连接工具操作时，发现其中一个节点连接拒绝，无法操作，另外两个节点正常，报错如下： 2. 问题定位 经查看日志，系统报错 阅读全文
摘要：
Clickhouse版本：20.3.6.40-2 1. 问题描述 clickhouse是集群模式，主节点在truncate表几次之后，再次查询响应速度很慢，并且偶尔会报错，如下： 2. 问题定位 经查看grafana监控发现下午四点到五点之间服务器连接数和流量突增，可能跟集群间数据同步有关系（三节点 阅读全文
摘要：
业务场景： Flnk消费Kafka数据后，先入Hbase，经过校验后会发送数据到Kafka另一个topic，供另一个业务线消费入库。 组件版本： CDH：6.3.0 Flink：1.10 1. 问题描述 经发现结果数据库中中文为乱码，如图： 2. 问题定位 1、首先排查IDEA开发、编译各项编码，都 阅读全文
摘要：
Clickhouse版本：20.3.6.40-2 安装包地址：https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/ 一、单机版 1、安装依赖 yum install libicu.x86_64 2、下载安装包 http://repo.yandex. 阅读全文
摘要：
1. 问题起因 通过snapshot做跨集群数据同步时，在执行拷贝脚本里没有指定所有者及所有组，导致clone时没有权限，客户端卡死。master一直报错，经过一系列操作后，导致RIT异常。 2. 异常记录 不指定所有者，默认权限是hdfs:hbase,会导致异常 执行clone_snapshot 阅读全文
摘要：
问题发现： 经巡检，服务器中一台节点的hadoop磁盘占用过多，是其它节点的三倍，导致数据严重不均衡。 解决过程： 两种命令： hadoop的bin目录下，运行命令start-balancer.sh -threshold 5 hdfs balancer -threshold 5 两者的执行效果是一样 阅读全文
摘要：
业务场景： RocketMQ+Storm+Hbase 组件版本： RocketMQ：3.4.6 Storm：1.2.1 Hbase：1.2.1 1. 问题描述 4月15号早上发现业务系统前一天数据量明显偏低，查看系统发现storm入Hbase的TPS很低，甚至为0。 2. 问题定位 通过查看Hbas 阅读全文
摘要：
导出脚本： mongo_export.sh !#/bin/bash mongoexport -h x.x.x.x --port 27017 -d database -c collection -q '{branch_type:{$regex:/.*中心.*/i}}' -o /home/hadmin/ 阅读全文