Hadoop 初体验
Hadoop 是一个基于谷歌发表的几篇论文而开发的一个分布式系统基础架构，用户可在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop现在已经成了大数据的代名词。也就是说，现在如果要处理大数据，Hadoop是首要选择。所以学好Hadoop是非常实用的。
Hadoop 目前大的版本分为1和2，对于初学者来说，先学习 Hadoop 1.x 比较容易上手，相比 2.x会简单不少。
环境
Ubuntu 16.04
openjdk-8
Hadoop-1.2.1
安装
由于 Hadoop 是用 Java 开发的，所以要依赖 JDK，首先要安装 JDK，并配置JDK的环境变量。
安装 Java 命令：
sudo apt-get install openjdk-8-jdk
如果出现一下错误：
E: 软件包 sun-java6-jre 没有可供安装的候选者
则执行一下命令：
sudo add-apt-repository ppa:openjdk-r/ppa
sudo apt-get update
之后再执行安装命令。
JDK 安装完成后需要配置环境变量，编辑/etc/profile，加入一下内容：
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-i386
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
安装Hadoop。
下载 Hadoop 的安装包 hadoop-1.2.1.tar.gz，解压后放到/opt/目录下
接着是对 Hadoop 配置：
hadoop-env.sh
修改JAVA_HOME 的路径
core-site.xml
初始是空文件，加入以下内容：
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://tang:9000</value>
</property>
hdfs-site.xml
加入以下内容：
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
mapred-site.xml
加入以下内容：
<property>
<name>mapred.job.tracker</name>
<value>tang:9001</value>
</property>
配置好后，加入 Hadoop 的环境变量
export HADOOP_HOME=/opt/hadoop-1.2.1
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
执行 source /etc/profile 让配置的环境变量立即生效。
输入 hadoop 看到 hadoop 的参数说明，表明配置成功了。
接着切换到 hadoop/bin 下，执行 hadoop namenode -format 进行格式化，如果出现以下错误：
hadoop java.io.IOException: while running namenode -format
12/07/03 17:03:56 ERROR namenode.NameNode: java.io.IOException: Cannot create directory /your/path/to/hadoop/tmp/dir/hadoop-hadoop/dfs/name/current
需要检查一下刚才在几个配置文件中定义的路径是否存在、当前用户是否有权限访问。
格式化成功后，切换到/hadoop/bin下，执行 start-all.sh
如果出现以下错误：
ssh: connect to host localhost port 22: Connection refused
可能的原因是ssh server没装，查看方法：
ps -e |grep ssh
如果没有sshd，说明还没有安装ssh server
解决方案：
sudo apt-get install openssh-server
接着再运行start-all.sh就可以了。
再运行 jfs，观察以下几个内容是否存在。
3542 TaskTracker
3334 SecondaryNameNode
4058 Jps
3931 JobTracker
3677 NameNode
3182 DataNode
如果都存在，表明hadoop启动成功。
运行 hadoop fs -ls / 时，出现以下错误：
14/07/29 13:25:35 INFO ipc.Client: Retrying connect to server: centhost.centdomain/10.110.30.30:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
原因是没有启动 hadoop，切换到$HADOOP_HOME/bin 下，运行 start-all.sh即可。
出现以下错误
s: unknown host: tang
检查一下 /etc/hosts、 /etc/hostname 下是否存在该主机。
运行 jps 时没有出现datanode，可能的原因是：
当前用户是否有配置文件中指定的文件夹打操作权限。
