Charlist

摘要： Hadoop基本操作命令 在这篇文章中，我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动Hadoop 1. 进入HADOOP_HOME目录。2. 执行sh bin/start-all.sh 关闭Hadoop 1. 进入HADOOP_HO... 阅读全文

摘要： 简介Ganglia可以监控分布式集群中硬件资源的使用情况，例如CPU，内存，网络等资源。通过Ganglia可以监控Hadoop集群在运行过程中对集群资源的调度，作为简单地运维参考。 环境搭建流程 1、我们先在主机master01上面搭建好Ganglia环境2、在master01主机上解压JDK和Hadoop到安装目录、修改配置文件3、克隆出两台主机slave01,slave02并修改主机名和IP... 阅读全文

摘要： 现在先抛出问题，假设有一个主数据中心在北京M，然后有成都A，上海B两个地方数据中心，现在的问题是，假设成都上海各自的数据中心有记录变更，需要先同步到主数据中心，主数据中心更新完成之后，在把最新的数据分发到上海，成都的地方数据中心A，地方数据中心更新数据，保持和主数据中心一致性（数据库结构完全一致）。数据更新的消息是通过一台中心的MQ进行转发。先把问题简单化处理，假设A增加一条记录Message_A... 阅读全文

摘要： 1、允许创建快照首先，在你想要进行备份的文件夹下面 执行命令，允许该文件夹创建快照hdfs dfsadmin -allowSnapshot 例如：hdfs dfsadmin -allowSnapshot /Workspace/linlin出现此命令证明已经允许创建快照成功==============================================================... 阅读全文

摘要： 一、edits和fsimage 首先要提到两个文件edits和fsimage，下面来说说他们是做什么的。集群中的名称节点（NameNode）会把文件系统的变化以追加保存到日志文件edits中。当名称节点（NameNode）启动时，会从镜像文件 fsimage 中读取HDFS的状态，并且把edits文件中记录的操作应用到fsimage，也就是合并到fsimage中去。合并后更新fsimage的HDF... 阅读全文

摘要： 1.修改 conf/core-site.xml,增加Xml代码fs.checkpoint.period3600The number of seconds between two periodic checkpoints. fs.checkpoint.size67108864The size of the current edit log (in bytes) that triggers a per... 阅读全文

摘要： Hadoop从2.1.0版开始提供了HDFS SnapShot的功能。一个snapshot(快照)是一个全部文件系统、或者某个目录在某一时刻的镜像。快照在下面场景下是非常有用：防止用户的错误操作：管理员可以通过以滚动的方式周期性设置一个只读的快照，这样就可以在文件系统上有若干份只读快照。如果用户意外地删除了一个文件，就可以使用包含该文件的最新只读快照来进行回复。备份：管理员可以根据需求来备份整个文... 阅读全文

摘要： 相关文章 DRBD的介绍请参考http://blog.csdn.net/rzhzhz/article/details/7103772 DRBD的部署请参考http://blog.csdn.net/rzhzhz/article/details/7107115 Pacemaker的介绍请参考http://blog.csdn.net/rzhzhz/article/details/7104135 Pace... 阅读全文

摘要： 通过distcp进行并行复制 前面的HDFS访问模型都集中于单线程的访问。例如通过指定文件通配，我们可以对一部分文件进行处理，但是为了高效，对这些文件的并行处理需要新写一个程序。Hadoop有一个叫distcp(分布式复制)的有用程序，能从Hadoop的文件系统并行复制大量数据。 distcp一般用于在两个HDFS集群中传输数据。如果集群在Hadoop的同一版本上运行，就适合使用hdfs方案： %... 阅读全文

摘要： Decommission Datanode就是把Datanode从HDFS集群中移除掉。那问题来了，HDFS在设计时就把诸如机器故障考虑进去了，能否直接把某台运行Datanode的机器关掉然后拔走呢？我认为理论上可行的，不过在实际的集群中，如果某份数据只有一份拷贝而且它就在这个机器上，那么直接关掉并拔走机器就会造成数据丢失。本文将介绍如何Decommission Datanode以及可能会遇到的一... 阅读全文