Hadoop 2.6.4 Spark 2.0.2配置血泪教训

1.永久更改eth0的ip

2.配置ip的话同步更改默认网管和子网掩码

3.主机名不能带下划线（java.lang.IllegalArgumentException: Does not contain a valid host :port authority）

吐血了，配置文件也要一个一个改动

学一些 批量修改的方法

4.检测xml是否配对

5.journalNode节点除了朱namenode以外，其他都是

dfs.namenode.shared.edits.dir 这是NameNode读写JNs组的uri。通过这个uri，NameNodes可以读写edit log内容。URI的格式"qjournal://host1:port1;host2:port2;host3:port3/journalId"。这里的host1、host2、host3指的是Journal Node的地址，这里必须是奇数个，至少3个；其中journalId是集群的唯一标识符，对于多个联邦命名空间，也使用同一个journalId。配置如下

<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node1.example.com:8485;node2.example.com:8485;node3.example.com:8485/mycluster</value>
</property>

　　6.yarn-site.xml

<property>
    <description>The hostname of the RM.</description>
    <name>yarn.resourcemanager.hostname</name>
    <value>CentOS_Master</value>
  </property>    

　　这配置有问题，忘了更改，应该是“CentOSMaster”，这个不记得，不知道应该在此处更改也需要修改。

7.主节点的NN默认奇妙关闭

　　其他完好，查看日志说是journalNode超时，20s，重启NN，一会有死了，修改hdfs-site.xml

　　http://www.cnblogs.com/hxsyl/p/6087573.html

8.FileSystem读取hdfs

　　一直捕捉不到exception，原来exception是Throwable的子类，不做Throwable就可以看到了。

　　java.lang.NoClassDefFoundError: org/htrace/Trace

　　就是少了个jar包，htrace-core-3.0.4。

　　另外这个来自try catch 不做exception，发现直接到了finally，后来才知道hadoop的基本需要捕捉Throwable。

9.Hadoop需要同时捕捉Exception和Throwable

　　如果直接Ex的话，你会发现没有进入catch，直接finally，各种诡异的事情，但就是找不到问题。

　　基本是却jar包

10.下载前想好scala hadoop spark 和当前的jdk匹配不，因为以前的项目可能不支持jdk 1.8，但是你最新的scala必须jdk1.8，这就很尴尬了。

11.有时候没有log日志就要看看是不是权限问题，ls -al，看看当前用户是否有写权限，否则chown hxsyl:hxsyl logs

12. ssh ip "$ZOOKEEPER_HOME/bin/zkServer.sh start"  就是不行      stop却行 只能手动启动   浪费我两个小时   ，就因为这Hbase没起来，找了半天，发现zk没起来，看hbase日志只是提示拒绝链接

13.