01 2018 档案

cdh5.13.1 hadoop hdfs HA模式无法启动
摘要:经过观察日志发现,JN三个节点启动正常,只有NN节点启动时提示JN节点没有格式化 停止HDFS下面所有服务 先启动JN节点 然后启动一个NN节点,观察三个JN节点日志 发现其中一个节点的日志正常,没有报错,别两个节点报没有格式化。 停止所有节点,删除有报警节点的/dfs/jn目录 用没有报错节点的目 阅读全文

posted @ 2018-01-27 19:36 net2817 阅读(241) 评论(0) 推荐(0)

hibench 对CDH5.13.1进行基准测试(测试项目hadoop\spark\)HDFS作HA高可靠性
摘要:使用CDH 5.13.1部署了HADOOP集群之后,需要进行基准性能测试。 一、hibench 安装 1.安装位置要求。 因为是全量安装,其中有SPARK的测试(SPARK2.0)。 安装位置在SPARK 服务所在的节点上面。 下载hibench编译好的包与manve的包 hibench全部编译 m 阅读全文

posted @ 2018-01-27 14:42 net2817 阅读(616) 评论(0) 推荐(0)

端口占用情况查看
摘要:netstat -antup 阅读全文

posted @ 2018-01-24 13:38 net2817 阅读(141) 评论(0) 推荐(0)

查找一个程序的安装路径
摘要:[root@hadoop.22.51fbops.com maven]# ls -lrt /usr/bin/javalrwxrwxrwx 1 root root 22 Dec 26 16:47 /usr/bin/java -> /etc/alternatives/java[root@hadoop.22 阅读全文

posted @ 2018-01-23 10:32 net2817 阅读(160) 评论(0) 推荐(0)

gitlab-ce 安装、汉化与阿里邮箱配置(注意是CE)
摘要:环境准备 yum install curl openssh-server openssh-clients postfix cronie policycoreutils-python –y curl https://packages.gitlab.com/install/repositories/gi 阅读全文

posted @ 2018-01-12 16:45 net2817 阅读(229) 评论(0) 推荐(0)

关于CDh5.13.1 HDFS启用HA(High Availability)注意事情--(JournalNode 只有一个编辑路径)
摘要:原因为:主机名不能为域名。更换成hadoop64 这种解决。 阅读全文

posted @ 2018-01-06 08:13 net2817 阅读(243) 评论(0) 推荐(0)

cdh 5.13 hadoop 集群IP变更详细步骤
摘要:1.因一些不可抗因素,集群IP变更。 修改CM的数据库IP地址 /etc/cloudera-scm-server/db.p。。。 2.修改每个主机的hosts列表 3.修改SCM数据库的hosts表中的IP 4.所有机器重启。 阅读全文

posted @ 2018-01-02 11:40 net2817 阅读(1124) 评论(0) 推荐(0)

导航