Hadoop实战前的准备

1.安装模式有三种：

（1）本地模式

（2）伪分布式

（3）集群模式

2.今天只讲伪分布式

　部署前的准备工作：

　　（1）操作系统 CentOS

　　（2）hadoop安装包版本：hadoop-1.1.2.tar.gz

　　（3）JDK：jdk-6u24-linux-i586.bin (自己可以选择自己喜欢的版本安装)

3.步骤

　　（1）关闭防火墙

　　（2）修改hostname

　　（3）设置ssh自动登录

　　（4）安装jdk

　　（5）安装hadoop

4.走起

（1）关闭防火墙

　　打开终端输入：service iptables stop    (验证：service iptables status)

　　当然为了以防万一，可以通过chkconfig --list查看是否有自启项

（2）修改hostname

　　在终端输入 vi /etc/sysconfig/network

　　

　　修改为

　　

（3）设置SSH免密码登录

　1.执行命令ssh-keygen -t rsa产生密钥，位于～/.ssh文件夹中

　2.执行命令 ls,出现文件 id_rsa  id_rsa.pub，两个文件

　3.执行下面命令，这是因为ssh验证会读取 authorized_keys

　4.验证一下：在终端中输入 ssh localhost，然后输入yes，登录成功

（4）安装jdk（安装在 /usr/local 下）

　　1.安装过程中会出现jdk权限不足的情况，如下图：

 

　　2.加上权限，注意执行的命令

　　3.然后解压缩，在 /usr/local 中执行 ./jdk-6u24-linux-i586.bin

　　4.重命名为 jdk, 在 /usr/local 中执行命令mv  jdk1.6.0_24  jdk

　　5.配置环境变量 vi /etc/profile,如图配置

 

　　6.让配置立即生效 source /etc/profile

　　7.在终端输入 java -version 进行验证,出现下面的情况，就成功了！

 

（5）安装hadoop

　　1.解压缩hadoop，执行命令

 

　　2.重命名，执行命令

 

　　3.配置环境变量

　　4.配置生效 在终端输入 source /etc/profile

修改配置文件，在/usr/localhost/hadoop/conf中的hadoop-env.sh文件的第九行为jdk的路径，

export JAVA_HOME=/usr/local/jdk

　　看图：

 

　　修改core-site.xml文件，如图

 

 

　　修改 hdfs-site.xml 文件，如图

 

 

　　修改mapred-site.xml文件，如图

 

 

　　5.对hadoop进行格式化，执行命令 ： hadoop  namenode  -format

但是在格式化时，出现警告，稍后给出解决方案！

先启动爽一把！（注意这没警告，是因为已经解决了）

查看java进程，执行命令  jps

 

 

注：出现警告的解决方案！

　　大家看一下上面的hadoop配置文件，中是否有个：export HADOOP_HOME_WARN_SUPPESS=1

就是添加这个就没警告了，这个牵扯了Shell编程的知识，在这里就不说了，大家看看start-all.sh的启动文件就可以找出问题所在！

 　　　　接下来访问，看看