吴裕雄--天生自然HADOOP操作实验学习笔记：分布式资源调度系统yarn的安装 - 吴裕雄

实验目的

复习配置hadoop初始化环境

复习配置hdfs的配置文件

学会配置hadoop的配置文件

了解yarn的原理

实验原理

1.yarn是什么
　　前面安装好了hdfs文件系统，我们可以根据需求进行数据的读写操作。hdfs解决了大数据的存储，接下来的问题就是根据实际的业务需求进行计算。目前大数据的计算业务主要有离线计算、实时计算、交互式查询、机器学习、图计算。例如storm是处理实时计算的，hadoop的mapreduce是处理批处理计算业务的。hive则是进行交互式查询的。这么多计算框架在一起，难免会引起资源管理的混乱问题，yarn则是用于管理计算资源的，计算资源主要是内存和CPU，默认是管理内存。
　　Apache YARN（Yet Another Resource Negotiato的缩写）是Hadoop的集群资源管理系统。YARN被引入Hadoop2。最初是为了改善MapReduce的实现，但它具有足够的通用性，同样可以支持其他的分布式计算模式。
　　YARN提供请求好而是用进群资源的API，但这些API很少直接使用于用户代码。相反，用户代码用的是分布式计算框架提供的更高层API，这些API建立在YARN之上且向用户隐藏了资源管理细节。

MapReduce、Spark、Tez这样的计算框架均以Yarn应用程序的形式运行于集群计算层（Yarn）和集群存储层（HDFS或HBase）之上，而Pig、Hive、Crunch则运行于MapReduce、Spark或Tez之上，并没有与Yarn直接交互。
Yarn的核心服务由两个组件提供：
　　Resource Manager：每个集群一个实例，用于管理整个集群的资源使用；
　　Node Manager：每个集群多个实例，用于自身Container的启动和监测（每个Node Manager上可能有多个Container）。
　　注：根据Yarn配置的不同，Container可能是一个Unix进程或者一个Linux cgroup实例，在受限的资源范围内（如内存、CPU等）执行特定应用程序的代码。

2.yarn资源调度的方式
　　目前yarn调度主要有两种：先进先出的调度模式和队列调度模式，分别是Google和Yahoo开源设计的，前者按照提交的顺序调度，后者则将用户划分为队列，给每个队列一定的资源。
　　yarn将集群资源抽象成一个个容器Container，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器负责资源的分配，而NodeManager则负责资源的供给和隔离。ResourceManager将某个NodeManager上资源分配给任务（这就是所谓的“资源调度”）后，NodeManager需按照要求为任务提供相应的资源，甚至保证这些资源应具有独占性，为任务运行提供基础的保证，这就是所谓的资源隔离。

3.yarn的安装
　　yarn的配置文件主要是mapred-site.xml、yarn-site.xml，配置这个文件的相关属性即可。

4.yarn配置
　　(1)mapred-site.xml文件配置内容：

<name>mapreduce.framework.name</name>

</property>

<name>mapreduce.jobhistory.address</name>

</property>

<name>mapreduce.jobhistory.webapp.address</name>

</property>

　　(2)yarn-site.xml文件需要配置的内容：

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.resourcemanager.hostname</name>

</property>

<name>yarn.log-aggregation-enable</name>

</property>

实验环境

1.操作系统
　　服务器1：Linux_Centos
　　服务器2：Linux_Centos
　　服务器3：Linux_Centos
　　服务器4：Linux_Centos
　　操作机：Windows_7
　　服务器1默认用户名：root，密码：123456
　　服务器2默认用户名：root，密码：123456
　　服务器3默认用户名：root，密码：123456
　　服务器4默认用户名：root，密码：123456
　　操作机默认用户名：hongya，密码：123456

2.实验工具
　　Xshell

Xshell是一个强大的安全终端模拟软件，它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。Xshell 通过互联网到远程主机的安全连接以及它创新性的设计和特色帮助用户在复杂的网络环境中享受他们的工作。
　　Xshell可以在Windows界面下用来访问远端不同系统下的服务器，从而比较好的达到远程控制终端的目的。实验中我们用到XShell5，其新增功能有：
　　1.有效保护信息安全性；Xshell支持各种安全功能，如SSH1/SSH2协议，密码，和DSA和RSA公开密钥的用户认证方法，并加密所有流量的各种加密算法。重要的是要保持用户的数据安全与内置Xshell安全功能，因为像Telnet和Rlogin这样的传统连接协议很容易让用户的网络流量受到任何有网络知识的人的窃取。Xshell将帮助用户保护数据免受黑客攻击。
　　2.最好的终端用户体验；终端用户需要经常在任何给定的时间中运用多个终端会话，以及与不同主机比较终端输出或者给不同主机发送同一组命令。Xshell则可以解决这些问题。此外还有方便用户的功能，如标签环境，广泛拆分窗口，同步输入和会话管理，用户可以节省时间做其他的工作。
　　3.代替不安全的Telnet客户端；Xshell支持VT100，VT220，VT320，Xterm，Linux，Scoansi和ANSI终端仿真和提供各种终端外观选项取代传统的Telnet客户端。
　　4. Xshell在单一屏幕实现多语言；Xshell中的UTF-8在同类终端软件中是第一个运用的。用Xshell，可以将多种语言显示在一个屏幕上，无需切换不同的语言编码。越来越多的企业需要用到UTF-8格式的数据库和应用程序，有一个支持UTF-8编码终端模拟器的需求在不断增加。Xshell可以帮助用户处理多语言环境。
　　5. 支持安全连接的TCP/IP应用的X11和任意；在SSH隧道机制中，Xshell支持端口转发功能，无需修改任何程序，它可以使所有的TCP/IP应用程序共享一个安全的连接。