2020年4月30日
mysql 主从设置
摘要： * 两台已经安装mysql服务的服务器 * 两台服务器创建一模一样的数据库* 保证主库从库server_id不一致，不能重复* 创建用于从库同步数据的账号并授权 操作节点：主库 mysql> grant replication slave, replication client on *.* to 阅读全文
posted @ 2020-04-30 11:41 LiuDarren 阅读(135) 评论(0) 推荐(0)
2020年4月24日
源码编译 Clickhosue-v20.1.6.30
摘要： 环境、系统、硬件 强制要求：Linux x86_64 内核大于 3.2.0 UTF-8 字符集，CPU 支持 SSE 4.2 指令集。 检查是否支持 SSE 4.2 指令集 grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || ech 阅读全文
posted @ 2020-04-24 11:34 LiuDarren 阅读(435) 评论(0) 推荐(0)
HDFS 中 oldWALs 目录过大
摘要： 当WALs目录中的 HLog 没用之后会 move 到 oldWALs 中，HMaster 会定期去清理。由于打开了 replication 复制功能 oldWALs 目录没有自动清理，导致 HDFS 磁盘使用率过高。关闭 HBase 的 replication 复制功能使 HBase 自动清理ol 阅读全文
posted @ 2020-04-24 11:19 LiuDarren 阅读(790) 评论(0) 推荐(0)
hadoop 动态迁移 JournalNode 节点
摘要： 1. 修改 hdfs-site.xml 配置文件，在 dfs.namenode.shared.edits.dir 配置项中增加相应的新的journal的地址和端口并删除老的journal的地址和端口.2. 把 hdfs-site.xml 文件分发到集群中各服务器.3. 把现有 JournalNode 阅读全文
posted @ 2020-04-24 11:10 LiuDarren 阅读(1269) 评论(0) 推荐(0)
hbase 动态缩容 HRegionserver 节点
摘要： 1. 关闭自动均衡 banlance_switch false 2. 在待删除节点上执行 graceful_stop.sh [HOSTNAME] 转移 region 到其他节点，然后stop掉进程。 3. 逐个重启 HMaster 解决 4. 如果重启 HMaster 后 HBase 状态页上还显示 阅读全文
posted @ 2020-04-24 11:07 LiuDarren 阅读(704) 评论(0) 推荐(0)
hadoop 动态缩容 DataNode 节点
摘要： 1. NameNode 节点 /data/app/hadoop/etc/hadoop/excludes 中添加待删除节点主机名 2. 同步 /data/app/hadoop/etc/hadoop/excludes 到所有 NameNode 节点 3. 在 NameNode 节点执行 hadoop d 阅读全文
posted @ 2020-04-24 11:02 LiuDarren 阅读(306) 评论(0) 推荐(0)
2020年3月4日
maxscale 配置 mysql 读写分离
摘要： 安装 maxscale wget https://downloads.mariadb.com/MaxScale/2.2.15/centos/6server/x86_64/maxscale-2.2.15-1.centos.6.x86_64.rpm rpm -ivh maxscale-2.2.15-1. 阅读全文
posted @ 2020-03-04 11:39 LiuDarren 阅读(469) 评论(0) 推荐(0)
2019年8月1日
Elasticsearch常用接口和配置文件详解
摘要： 查询集群健康状态 curl -XGET 'http://127.0.0.1:9200/_cluster/health?pretty 执行结果如下： { "cluster_name" : "BigData", "status" : "green", "timed_out" : false, "numb 阅读全文
posted @ 2019-08-01 17:48 LiuDarren 阅读(760) 评论(0) 推荐(1)
hbase 集群设置主从动态同步数据
摘要： # 主/从节点创建表create '201806m', {NAME => 'code'} # 打开主节点里表student的复制特性alter '201806m',{NAME=>'code', REPLICATION_SCOPE=>'1'} # 主节点里添加要复制的从节点的peeradd_peer 阅读全文
posted @ 2019-08-01 17:33 LiuDarren 阅读(507) 评论(0) 推荐(0)