摘要：首先，停止ntpd服务sudo /etc/init.d/ntpd stop出现Shutting down ntpd: [ OK ]设置时间同步sudo ntpdate 133.100.11.8 出现11 Apr 10:... 阅读全文

摘要：《hadoop the definitive way》(third version)中的Benchmarking a Hadoop Cluster Test Cases的class在新的版本中已不再试hadoop-*-test.jar, 新版本中做BanchMark Test应采用如下方法：1. TestDFSIOwriteTestDFSIO用来测试HDFS的I/O 性能，用一个MapReduce job来并行读取/写入文件， 每个文件在一个独立的map task里被读取或写入，而map的输出用来收集该文件被执行过程中的统计数据，test1 写入２个文件，每个10MB%yarn jar sha 阅读全文

摘要：转自虾皮工作室http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html#!comments1、集群部署介绍1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由.. 阅读全文