摘要: 此脚本需要expect命令,使用前确认一下机器收否有安装:which expect 思路:1.编写好要追加到hosts文件内容的文件(IP_hosts_test) 2.编写脚本文件testRead.sh(嵌套expect,实现自动登录),... 阅读全文
posted @ 2018-08-19 19:15 韧小钊 阅读(60) 评论(0) 推荐(0)
摘要: 1.命令 hdfs dfsadmin -report // 查看hdfs的各节点状态信息 hdfs haadmin -getServiceState nn1 // 获取一个namenode节点的HA状态 ha... 阅读全文
posted @ 2018-08-04 15:39 韧小钊 阅读(80) 评论(0) 推荐(0)
摘要: Spark高可用:https://blog.csdn.net/qq_36434219/article/details/80961183 Hadoop和Spark集群搭建:https://blog.csdn.net/qq_36434219/article/det... 阅读全文
posted @ 2018-07-28 14:33 韧小钊 阅读(42) 评论(0) 推荐(0)
摘要: 一 安装zookeeper 1.环境:hadoop+spark详情参考如下地址 https://blog.csdn.net/qq_36434219/article/details/80716189 2.下载zookeeper-3.4.10.tar.gz包,jd... 阅读全文
posted @ 2018-07-15 11:02 韧小钊 阅读(67) 评论(0) 推荐(0)
摘要: 语法有问题,需要加个参数(-C),如下: 阅读全文
posted @ 2018-07-08 18:29 韧小钊 阅读(207) 评论(0) 推荐(0)
摘要: 做java项目时候发现常量好像怎么不是固值,问度娘才知道,计算机语言中有个数据类型叫枚举enum,用来限制数据范围比如1年=365天=365*24h=.........所以还是固值,表达式方式变了而已,如下常量毫秒转换其他单位方法:然后就是注解(之前用的都是x... 阅读全文
posted @ 2018-06-30 19:43 韧小钊 阅读(50) 评论(0) 推荐(0)
摘要: 原因:shell赋值时候等号两边不能有空格!!!!!!!!!! 阅读全文
posted @ 2018-06-24 20:57 韧小钊 阅读(20) 评论(0) 推荐(0)
摘要: 欢迎使用Markdown编辑器写博客 本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦: M... 阅读全文
posted @ 2018-06-24 20:55 韧小钊 阅读(19) 评论(0) 推荐(0)
摘要: 1.建议搭建之前先禁用防火墙(遇到过slave的nodemanager会自动关闭,日志说获取不到主机路由问题,通过关闭防火墙即可,我的linux是centos7): 关闭防火墙:systemctl stop firewalld.service 禁... 阅读全文
posted @ 2018-06-17 09:14 韧小钊 阅读(40) 评论(0) 推荐(0)
摘要: 准备布一个hadoop的伪分布式集群(三台虚拟机master,slave1,slave2)1.操作系统: Linux: CentOS7 64 Bit Java: 1.8(自己下载了tar包,自带的配置起来较麻烦) Hadoop: 2.7... 阅读全文
posted @ 2018-06-17 00:11 韧小钊 阅读(87) 评论(0) 推荐(0)