net2817 - 博客园

elasticsearch 不同集群数据同步

摘要：采用快照方式 1.源集群采用NFS，注意权限 2.共享目录完成后，在所有ES服务器上挂载为同一目录 3.创建快照仓库 put _snapshot/my_backup{ "type": "fs", "settings": { "compress": true, "location": "/data/e 阅读全文

posted @ 2018-03-14 19:36 net2817 阅读(1071) 评论(0) 推荐(1)

hbase备份数据与异地新建

摘要： hbase org.apache.hadoop.hbase.mapreduce.Driver export news /tmp/news1 备份news表至hdfs的/tmp目录下面。 hadoop dfs -get /tmp/news1 /dfs/newsback/ 把hdfs下的目录导出至本地的阅读全文

posted @ 2018-03-14 16:24 net2817 阅读(237) 评论(0) 推荐(0)

pm2-zabbix 安装与配置

摘要：官方GITHUB路径 https://github.com/greatcare/pm2-zabbix 环境要求，zabbix-agent zabbix-sender需要安装 npm安装要求 [Service]Type=simpleUser=root 注：用户为nodejs一样的运行用户名 ExecS 阅读全文

posted @ 2018-02-26 18:44 net2817 阅读(293) 评论(0) 推荐(0)

harbor在centos7.4下面配置自签名证书（域名是端口映射）

摘要： 1.harbor安装，按常规安装。注意事项，端口映射端口要外网的与内网一至。配置文件修改 vim docker-compose.yml proxy: image: vmware/nginx-photon:v1.4.0-rc1 container_name: nginx restart: alw 阅读全文

posted @ 2018-02-04 20:13 net2817 阅读(404) 评论(0) 推荐(0)

cdh5.13.1 hadoop hdfs HA模式无法启动

摘要：经过观察日志发现，JN三个节点启动正常，只有NN节点启动时提示JN节点没有格式化停止HDFS下面所有服务先启动JN节点然后启动一个NN节点，观察三个JN节点日志发现其中一个节点的日志正常，没有报错，别两个节点报没有格式化。停止所有节点，删除有报警节点的/dfs/jn目录用没有报错节点的目阅读全文

posted @ 2018-01-27 19:36 net2817 阅读(276) 评论(0) 推荐(0)

hibench 对CDH5.13.1进行基准测试（测试项目hadoop\spark\)HDFS作HA高可靠性

摘要：使用CDH 5.13.1部署了HADOOP集群之后，需要进行基准性能测试。一、hibench 安装 1.安装位置要求。因为是全量安装，其中有SPARK的测试（SPARK2.0）。安装位置在SPARK 服务所在的节点上面。下载hibench编译好的包与manve的包 hibench全部编译 m 阅读全文

posted @ 2018-01-27 14:42 net2817 阅读(645) 评论(0) 推荐(0)

端口占用情况查看

摘要： netstat -antup 阅读全文

posted @ 2018-01-24 13:38 net2817 阅读(146) 评论(0) 推荐(0)

查找一个程序的安装路径

摘要： [root@hadoop.22.51fbops.com maven]# ls -lrt /usr/bin/javalrwxrwxrwx 1 root root 22 Dec 26 16:47 /usr/bin/java -> /etc/alternatives/java[root@hadoop.22 阅读全文

posted @ 2018-01-23 10:32 net2817 阅读(189) 评论(0) 推荐(0)

gitlab-ce 安装、汉化与阿里邮箱配置（注意是CE）

摘要：环境准备 yum install curl openssh-server openssh-clients postfix cronie policycoreutils-python –y curl https://packages.gitlab.com/install/repositories/gi 阅读全文

posted @ 2018-01-12 16:45 net2817 阅读(250) 评论(0) 推荐(0)

关于CDh5.13.1 HDFS启用HA（High Availability)注意事情--（JournalNode 只有一个编辑路径）

摘要：原因为：主机名不能为域名。更换成hadoop64 这种解决。阅读全文

posted @ 2018-01-06 08:13 net2817 阅读(265) 评论(0) 推荐(0)