随笔分类 -  hadoop

介绍hadoop的安装,原理以及一些应用
Hadoop1的安装
摘要:目前hadoop1的稳定版本是1.2.1,我们以版本1.2.1为例详细的介绍hadoop1的安装,此过程包括OS安装与配置,JDK的安装,用户和组的配置,这些过程在hadoop2也有可能用到。Hadoop 版本:1.2.1OS 版本: Centos6.4Jdk 版本: jdk1.6.0_32环境配置... 阅读全文

posted @ 2014-05-13 11:03 cloudkiller 阅读(498) 评论(0) 推荐(0)

Hadoop2的HA安装(high availability):JournalNode+ zookeeper
摘要:前面介绍过使用NFS+zookeeper来解决namenode单点失败问题,因为NFS可能也会存在单点问题,所以hadoop提供了一种叫做JournalNode技术,这项技术可以在JournalNode节点间共享数据我们来介绍这一种技术:JournalNode+ zookeeperHadoop 版本... 阅读全文

posted @ 2014-05-13 10:13 cloudkiller 阅读(5799) 评论(3) 推荐(0)

Hadoop2的HA安装(high availability):nfs+zookeeper
摘要:前面介绍过hadoop的简单安装和FA安装,在这里将介绍几种hadoop2中HA(高可用性)安装,HA技术使hadoop不再存在单点namenode的故障。先来第一种:nfs+zookeeperHadoop 版本:2.2.0OS 版本: Centos6.4Jdk 版本: jdk1.6.0_32环境配... 阅读全文

posted @ 2014-05-13 09:56 cloudkiller 阅读(1299) 评论(0) 推荐(0)

Hadoop2的FN安装(federated namespace)
摘要:尝试了简单的安装hadoop2后,我们再来尝试一下hdfs的一项新功能:FN。这项技术可以解决namenode容量不足的问题。它采用多个namenode来共享datanode的方式,每个namenode属于不同的namespace。下面是我们的安装信息Hadoop 版本:2.2.0OS 版本: Ce... 阅读全文

posted @ 2014-05-13 09:31 cloudkiller 阅读(691) 评论(0) 推荐(0)

Hadoop2的简单安装
摘要:前面花了很多时间来介绍hadoop1的安装,随着hadoop的发展,hadoop2的应用也越来越普及,hadoop2解决了hadoop1中的很多问题,比如单点故障,namenode容量小的问题。我们先来安装最简单的版本Hadoop 版本:2.2.0OS 版本: Centos6.4Jdk 版本: jd... 阅读全文

posted @ 2014-05-12 23:56 cloudkiller 阅读(633) 评论(0) 推荐(0)

hadoop的ganglia数据监控
摘要:如果我们想知道当前运行的hadoop集群的状态,可以通过hadoop的客户端和web页面来获得,但是如果我们想知道当前集群的繁忙程度,如读写次数,这些工具就办不到了。幸运的是hadoop提供了一种ganglia的数据采集方式。在这篇文章里,将介绍一下hadoop与ganglia的配置方式。Hadoo... 阅读全文

posted @ 2014-05-12 23:25 cloudkiller 阅读(3249) 评论(0) 推荐(0)

hadoop的kerberos认证
摘要:言归正传,介绍过hadoop的simple认证和kerberos后,我们在这一章介绍hadoop的kerberos认证我们还使用hadoop集群的机器。OS 版本: Centos6.4Kerberos版本: krb5-1.10.3环境配置机器名Ip地址功能安装模块ganglia.localdomai... 阅读全文

posted @ 2014-05-12 22:52 cloudkiller 阅读(10336) 评论(0) 推荐(1)

kerboros安装
摘要:尽管前面尝试了hadoop的simple认证方式,这种方法不是特别安全,在介绍一下hadoop的kerberos方式之前,下面我们尝试一下kerberos。首先介绍一下Kerboros安装OS 版本: Centos6.4Kerberos版本: krb5-1.10.3环境配置机器名Ip地址功能安装模块... 阅读全文

posted @ 2014-05-12 22:12 cloudkiller 阅读(2962) 评论(1) 推荐(2)

hadoop的simple认证
摘要:目前Hadoop的稳定版本为1.2.1,我们的实验就在hadoop-1.2.1上进行Hadoop 版本:1.2.1OS 版本: Centos6.4环境配置机器名Ip地址功能用户Hadoop1192.168.124.135namenode, datanode,secondNameNodejobtrac... 阅读全文

posted @ 2014-05-12 21:42 cloudkiller 阅读(7590) 评论(0) 推荐(1)

导航