hadoop2

1 案例1：安装与部署

对mapred和yarn文件进行配置

验证访问Hadoop

Hadoop三大核心组件

1.分布式文件系统

HDFS已经部署完毕

2.分布式计算框架

MapReduce

3.集群资源管理

yarn

1.2 方案

在day05准备好的环境下给master （nn01）主机添加ResourceManager的角色，在node1，node2，node3上面添加NodeManager的角色，如图-1所示：

 步骤一：安装与部署hadoop

1）配置mapred-site（nn01上面操作）

 cd /usr/local/hadoop/etc/hadoop/

 mv mapred-site.xml.template mapred-site.xml

 vim mapred-site.xml 

2）配置yarn-site（nn01上面操作）

 同步到所有机器

 for i in 61 62 63; do rsync -aXSH --delete /usr/local/hadoop/etc/hadoop/ 192.168.1.$i:/usr/local/hadoop/etc/hadoop/; done

验证配置

cd /usr/local/hadoop

./sbin/start-dfs.sh

./sbin/start-yarn.sh

 jps
5）web访问hadoop

 ./sbin/start-yarn.sh      #开启   如果机器关过机报错的话,reboot一下虚拟机

 

 完了jps查看一下

./bin/yarn node -list    #列出所有的节点

 

 2 案例2：Hadoop词频统计

 

 3 案例3：节点管理

1.增加一个新的节点

启动一个新的系统,设置ssh免密登录

在所有节点修改/etc/hosts ,增加新节点的主机信息

安装java运行环境(java-1.8.0-openjdk-devel)

修改namenode的slaves文件增加该节点

拷贝NameNode的 /usr/local/hadoop到本机

在该节点启动datanode

步骤如下:

 

 

 

 

 NFS网关用途

用户可以通过操作系统兼容本地NFSv3客户端来浏览HDFS文件系统

用户可以从HDFS文件系统下载文档到本地文件系统

用户可以通过挂载点直接流化数据,支持文件附加,但是不支持随机写

NFS网关支持NFSv3和允许HDFS作为客户端文件系统的一部分被挂载

特性:HDFS超级用户是与namenode进程本身具有相同标示的用户,超级用户可以执行任何操作,因为权限检查永远不会认为超级用户失败

注意事项:

1.在非安全模式下,运行网关进程的用户是代理用户

2.在安全模式下,kerberos keytab中的用户是代理用户

配置代理用户

在namenode和nfsgw上添加代理用户

代理用户的UID,GID,用户名必须完全相同  (添加nfsuser用户)

如果因特殊原因客户端的用户和NFS网关的用户UID不能保持一致,需要我们配置nfs.map的静态映射关系

nfs.map

 

 

 步骤分解

 

 

 2）创建代理用户（nn01和nfsgw上面操作），以nn01为例子

[root@nn01 hadoop]# groupadd -g 800 nfsuser

[root@nn01 hadoop]# useradd -u 800 -g 800 -r -d /var/hadoop nfsuser

 3）配置core-site.xml

 ./sbin/stop-all.sh //停止所有服务

 # vim core-site.xml

 

 4）同步配置到node1，node2，node3

[root@nn01 hadoop]# for i in {61..63}; do rsync -aSH --delete /usr/local/hadoop/ 192.168.1.$i:/usr/local/hadoop/ -e 'ssh' & done 

5）启动集群 

 [root@nn01 hadoop]# /usr/local/hadoop/sbin/start-dfs.sh

 6）查看状态

[root@nn01 hadoop]# /usr/local/hadoop/bin/hdfs  dfsadmin -report

 步骤二：NFSGW配置

 1）安装java-1.8.0-openjdk-devel和rsync

yum -y install java-1.8.0-openjdk-devel

 2）创建数据根目录 /var/hadoop（在NFSGW主机上面操作）

 ]# mkdir /var/hadoop

 3）创建转储目录，并给用户nfs 赋权

 [root@nfsgw ~]# mkdir /var/nfstmp

 [root@nfsgw ~]# chown nfsuser:nfsuser /var/nfstmp

4）给/usr/local/hadoop/logs赋权（在NFSGW主机上面操作）

 setfacl -m user:nfsuser:rwx /usr/local/hadoop/logs

 

5）可以创建和删除即可