摘要：
一、YARN基本服务组件 YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系 阅读全文
posted @ 2017-04-20 11:53
ChavinKing
阅读(36584)
评论(1)
推荐(8)
摘要：
下图描述了Client向HDFS上传一个200M大小的日志文件的大致过程： 1）首先，Client发起文件上传请求，即通过RPC与NameNode建立通讯。 2）NameNode与各DataNode使用心跳机制来获取DataNode信息。NameNode收到Client请求后，获取DataNode信 阅读全文
posted @ 2017-04-20 00:04
ChavinKing
阅读(2089)
评论(0)
推荐(0)
摘要：
Namenode保存文件系统元数据镜像，namenode在内存及磁盘（fsimage和editslog）上分别存在一份元数据镜像文件，内存中元数据镜像保证了hdfs文件系统文件访问效率，磁盘上的元数据镜像保证了hdfs文件系统的安全性。 namenode在磁盘上的两类文件组成： fsimage文件： 阅读全文
posted @ 2017-04-19 23:57
ChavinKing
阅读(5119)
评论(0)
推荐(1)
摘要：
先决条件：开发机器需要联网 已安装java 已安装Desktop组 1、上传安装软件到linux上： 2、安装maven，用于管理项目依赖包：以hadoop用户安装apache-maven-3.0.5-bin.zip。 --解压安装文件到相应目录下： [root@db07 opt]# chown - 阅读全文
posted @ 2017-04-19 15:14
ChavinKing
阅读(15377)
评论(0)
推荐(0)
摘要：
Namenode 1、namenode是一个中心服务器，单一节点（简化系统的设计和实现），负责管理文件系统的命名空间（namespace）以及客户端对文件的访问。 2、文件操作：namenode负责对元数据的操作，datanode负责处理文件内容的读取请求，跟文件内容相关的数据流读取操作不会经过na 阅读全文
posted @ 2017-04-19 11:40
ChavinKing
阅读(321)
评论(0)
推荐(0)
摘要：
1、测试主机配置信息： 192.168.100.236 db06.chavin.king db06 192.168.100.237 db07.chavin.king db07 2、创建测试用户： groupadd chavin useradd -g chavin chavin echo “chavi 阅读全文
posted @ 2017-04-19 10:32
ChavinKing
阅读(641)
评论(0)
推荐(0)
摘要：
例如：[hadoop@db01 hadoop-2.5.0]$ bin/hdfs dfs -ls17/03/01 21:50:33 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 阅读全文
posted @ 2017-04-19 00:46
ChavinKing
阅读(426)
评论(0)
推荐(0)
摘要：
1）namenode： core-site.xml文件中决定： <property> <name>fs.defaultFS</name> <value>hdfs://chavin.king:9000</value> </property> 2）secondarynamenode： hdfs-site 阅读全文
posted @ 2017-04-19 00:44
ChavinKing
阅读(445)
评论(1)
推荐(0)
摘要：
hadoop配置文件 默认配置文件：四个模块相对应的jar包中：$HADOOP_HOME/share/hadoop *core-default.xml *hdfs-default.xml *yarn-default.xml *mapred-default.xml 用户自定义配置文件：$HADOOP_ 阅读全文
posted @ 2017-04-19 00:42
ChavinKing
阅读(690)
评论(0)
推荐(0)
摘要：
在core-site.xml文件中添加如下内容： ##开启回收站功能，设置保存7天删除数据信息 <property> <name>fs.trash.interval</name> <value>70000</value> </property> 重启hdfs守护进程生效： sbin/hadoop-d 阅读全文
posted @ 2017-04-19 00:41
ChavinKing
阅读(457)
评论(0)
推荐(0)
摘要：
在yarn-site.xml配置文件中添加如下内容： ##开启日志聚集功能 <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property>##日志保存7天（单位秒） <property> <nam 阅读全文
posted @ 2017-04-19 00:40
ChavinKing
阅读(682)
评论(0)
推荐(0)
摘要：
在mapred-site.xml配置文件中添加如下信息： <property> <name>mapreduce.jobhistory.address</name> <value>chavin.king:10020</value> </property> <property> <name>mapred 阅读全文
posted @ 2017-04-19 00:39
ChavinKing
阅读(353)
评论(0)
推荐(0)
摘要：
Purpose（目标） This document describes how to set up and configure a single-node Hadoop installation so that you can quickly perform simple operations us 阅读全文
posted @ 2017-04-18 18:56
ChavinKing
阅读(714)
评论(0)
推荐(0)
摘要：
Introduction This guide provides an overview of High Availability of YARN’s ResourceManager, and details how to configure and use this feature. The Re 阅读全文
posted @ 2017-04-18 15:41
ChavinKing
阅读(592)
评论(0)
推荐(0)
摘要：
The fundamental idea of YARN is to split up the functionalities of resource management and job scheduling/monitoring into separate daemons. The idea i 阅读全文
posted @ 2017-04-18 15:12
ChavinKing
阅读(228)
评论(0)
推荐(0)
浙公网安备 33010602011771号