Hadoop 2.6.4 Spark 2.0.2配置血泪教训
1.永久更改eth0的ip
2.配置ip的话同步更改默认网管和子网掩码
3.主机名不能带下划线(java.lang.IllegalArgumentException: Does not contain a valid host :port authority)
吐血了,配置文件也要一个一个改动
学一些 批量修改的方法
4.检测xml是否配对
5.journalNode节点除了朱namenode以外,其他都是
dfs.namenode.shared.edits.dir 这是NameNode读写JNs组的uri。通过这个uri,NameNodes可以读写edit log内容。URI的格式"qjournal://host1:port1;host2:port2;host3:port3/journalId"。这里的host1、host2、host3指的是Journal Node的地址,这里必须是奇数个,至少3个;其中journalId是集群的唯一标识符,对于多个联邦命名空间,也使用同一个journalId。配置如下
<property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://node1.example.com:8485;node2.example.com:8485;node3.example.com:8485/mycluster</value> </property>
6.yarn-site.xml
<property> <description>The hostname of the RM.</description> <name>yarn.resourcemanager.hostname</name> <value>CentOS_Master</value> </property>
这配置有问题,忘了更改,应该是“CentOSMaster”,这个不记得,不知道应该在此处更改也需要修改。
7.主节点的NN默认奇妙关闭
其他完好,查看日志说是journalNode超时,20s,重启NN,一会有死了,修改hdfs-site.xml
http://www.cnblogs.com/hxsyl/p/6087573.html
8.FileSystem读取hdfs
一直捕捉不到exception,原来exception是Throwable的子类,不做Throwable就可以看到了。
java.lang.NoClassDefFoundError: org/htrace/Trace
就是少了个jar包,htrace-core-3.0.4。
另外这个来自try catch 不做exception,发现直接到了finally,后来才知道hadoop的基本需要捕捉Throwable。
9.Hadoop需要同时捕捉Exception和Throwable
如果直接Ex的话,你会发现没有进入catch,直接finally,各种诡异的事情,但就是找不到问题。
基本是却jar包
10.下载前想好scala hadoop spark 和当前的jdk匹配不,因为以前的项目可能不支持jdk 1.8,但是你最新的scala必须jdk1.8,这就很尴尬了。
11.有时候没有log日志就要看看是不是权限问题,ls -al,看看当前用户是否有写权限,否则chown hxsyl:hxsyl logs
12. ssh ip "$ZOOKEEPER_HOME/bin/zkServer.sh start" 就是不行 stop却行 只能手动启动 浪费我两个小时 ,就因为这Hbase没起来,找了半天,发现zk没起来,看hbase日志只是提示拒绝链接
13.