hadoop2.8 集群 1 （伪分布式搭建）

简介：

　关于完整分布式请参考：　hadoop2.8 ha 集群搭建   【七台机器的集群】

Hadoop:（hadoop2.8）

　　Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

　　Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了                   (relax)POSIX的要求，可以以流的形式访问(streaming access)文件系统中的数据。

      Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。    -----来自google

　　　　

hadoop安装模式：

　　hadoop安装模式有三种，本节重点介绍伪分布式的安装配置和启动。

　　　　第一种是本地（独立）模式: 本地模式没啥意义，大家可以作为一个入门的参考。

　　　　第二种是伪分布式集群： 在物理机不允许的情况下，用单机模拟集群的效果

　　　　第三种是完全分布式集群： 搭建完成分布式集群，为业务进行服务，具有高容错，高性能，高冗余等特点。后面我会再详细介绍

hadoop伪分布式搭建：

　　 第一步：准备工作

　　　　   centos下载：   下载适合自己的版本

　　　　　　

 

　　　　   本机已经安装好VMware和xshell。我已经在虚拟机上创建一个centos作为此次安装的环境。我采用的是centos7.

　　　　　　

 

 　　　   　

　　　　　注意： 我在这选择的centos7的mini版本。可以选择完整版本centos.不过完整版本太大。我就用mini版本演示，mini版本里面很多软件都需要自己安装，所以我也会把我安装的步骤贴出来给大家做个分享。

　　第二步：启动虚拟机hadoop_yang

　　　　   　

　　　　　　启动虚拟机后我要做一些调整.

　　　　　　　　1> 查看ip    使用ifconfig命令，但是会报错，因为我这是mini版本，没安装这些。没关系，我来安装一下：（完整版本就已经安装好了，就不需要下面这步了）

　　　　　　　　　　　

　　　　　　　　　2>  xshell连接到这个hadoop_yang上；

　　　　　　　　　　　

　　　　　　　　　　　

　　　　　　　　　　3> 修改主机名和关闭防火墙。[  保存退出  :wq!     或者  shift + zz  ]

　　　　　　　　　　　　修改主机名：vi /etc/sysconfig/network
        　　　　　　　　　　　　将HOSTNAME=localhost改为HOSTNAME=yang    保存退出

　　　　　　　　　　　　 修改主机名与IP映射文件:vi /etc/hosts

　　　　　　　　　　　　　　　 添加192.168.146.137 yang　      保存退出

　　　　　　　　　　　　  修改完成后重启生效：

　　　　　　　　　　　　　　

　　　　　　　　　　　　关闭防火墙，为了可以在搭建完成后我们可以访问其端口。如果不想关闭防火墙，可以打开我们要访问的端口即可。随自己喜好吧。我在这就直接关闭防火墙进行演示。

　　　　　　　　　　　　　　1》systemctl stop firewalld   关闭防火墙

　　　　　　　　　　　　　　2》systemctl status firewalld  查看防火墙状态

           　　　　　　　　　　  3》 systemctl start  firewalld  开启防火墙

　　　　　　　　　　　　　　4》 systemctl disable firewalld  禁止防火墙随机启动

　　　　　　　　　　　　　　

　　　　　　　　　　　　上面是关闭防火墙，还可以在开启某一个访问端口：vi/etc/sysconfig/iptables    这个前提要安装iptables.就不演示了。

　　　　　　　　　4> SSH设置和密钥生成

　　　　　　　　　　　　SSH设置需要在集群上做不同的操作，如启动，停止，分布式守护shell操作。认证不同的Hadoop用户，需要一种用于Hadoop用户提供的公钥/私钥对，并用不同的用户共享。

　　　　　　　　　　　　下面的命令用于生成使用SSH键值对。复制公钥形成 id_rsa.pub 到authorized_keys 文件中，并提供拥有者具有authorized_keys文件的读写权限。

　　　　　　　　　　　　　　$ ssh-keygen -t rsa 
　　　　　　　　　　　　　　$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 
　　　　　　　　　　　　　　$ chmod 0600 ~/.ssh/authorized_keys  【可以不加】

　

　　　　　第三步：上传需要软件[安装lrzsz]

　　　　　　　　　　jdk1.8  ，hadoop2.8  【我已经下载好这些了】

　　　　　　　　　　1》到这准备工作已经基本完成，我要在root超级用户下创建一个我们搭建集群的用户。hadoop

　　　　　　　　　　 　　

　　　　　　　　　　2》配置hadoop用户的sudo命令。参考我的博客：sudo的安装

　　　　　　　　　   　　 

　　　　　　　　　　3》切换到hadoop用户上。我们来安装hadoop的伪分布式。

　　　　　　　　　　　　

　　　　　　　　　　4》上传软件

　　　　　　　　　　　　先安装lrzsz插件

　　　　　　　　　　　　

　　　　　　　　　　　　

　　　　　　　　　　　到这，我们已经通过命令把jdk和hadoop上传到了/home/hadoop的家目录下了。

　　　　　　　　　　　　　　

　　　　　第四步：安装jdk和hadoop:

　　　　　　　　　　　　　1>解压jdk，并移动到  /usr/local  下  修改名称为jdk1.8

　　　　　　　　　　　　　　　　解压

　　　　　　　　　　　　　　　　

　　　　　　　　　　　　　　　　重命名

　　　　　　　　　　　　　　　　

　　　　　　　　　　　　　　　　移动到指定文件夹

　　　　　　　　　　　　　　　　

 　　　　　　　　　　　　　　　　查看移动效果：

 　　　　　　　　　　　　　　　　

　　　　　　　　　　　　　　　配置java环境变量:   vi ~/.bashrc [用户的]  或者  /etc/profile  [系统的]  在这我就配置用户级别的。系统的全局有效。不明白这个范围的可以上网查一下。我就不详细介绍了。

　　　　　　　　　　　　　　　　

　　　　　　　　　　　　　　　　source ~/.bashrc   让配置生效。

　　　　　　　　　　　　　　　　然后java -version 验证java配置是否成功。

　　　　　　　　　　　　　　　　

　　　　　　　　　　　   2> hadoop的配置：（修改hadoop/etc/hadoop下的配置文件（hadoop-env.sh、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml））　

　　　　　　　　　　　　　　jdk是hadoop的基础。安装好jdk后，我们来配置hadoop。首先解压hadoop。我在local下创建一个hadoop文件夹，后期hadoop的其他插件我也会放在这个文件夹中。

　 　　　　　　　    　　　　  执行命令  sudo tar -zxvf hadoop----tgz  -C  /usr/local/hadoop   -C参数，是直接解压到指定文件夹。　　　

　　　　　　　　　　　　　　　　

　　　　　　　　　　　　　　配置环境变量：

　　　　　　　　　　　　　　　　

　　　　　　　　　　　　　　还可以加上这些属性：

　　　　　　　　　　　　　　　　export HADOOP_MAPRED_HOME=$HADOOP_HOME 
　　　　　　　　　　　　　　　　export HADOOP_COMMON_HOME=$HADOOP_HOME 
　　　　　　　　　　　　　　　　export HADOOP_HDFS_HOME=$HADOOP_HOME 
　　　　　　　　　　　　　　　　export YARN_HOME=$HADOOP_HOME 
　　　　　　　　　　　　　　　　export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 
　　　　　　　　　　　　　　　　export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin 

　　　　　　　　　　　　　　　　source ~/.bashrc   让配置生效。

　　　　　　　　　　　　　　1》修改hadoop-env.sh

　　　　　　　　　　　　　　　　export JAVA_HOME=/usr/local/jdk1.8

　　　　　　　　　　　　　　2》

　　　　　　　　　　　　　　　　

　　　　　第五步：格式化启动　

　　　　　　　　　　1>格式化hdfs（只能格式化一次）
    　　　　　　　　　　cd  $HADOOP_HOME/bin
    　　　　　　　　　　　　hdfs namenode -format　　　　　

　　　　　　　　　　2>启动hadoop
    　　　　　　　　　　　　cd $HADOOP_HOME/sbin
    　　　　　　　　　　启动hdfs
        　　　　　　　　　　start-dfs.sh
    　　　　　　　　　　启动yarn    
       　　　　　　　　　　 start-yarn.sh
    　　　　　　　　　　启动historyserver
        　　　　　　　　　　mr-jobhistory-daemon.sh start historyserver　　　　　　　　　

　　　　　　web验证：（打开表示启动成功）
        　　　　　　验证hdfs启动状态：http://yang:50070/
        　　　　　　验证yarn启动状态：http://yang:8088/
        　　　　　　验证启动状态：http://yang:19888/