随笔分类 -  hadoop

Hadoop-2.x启动HDFS和YARN的方式
摘要:逐一启动(实际生产环境中的启动方式) sbin/hadoop daemon.sh start|stop namenode|datanode|journalnode sbin/yarn daemon.sh start|stop resourcemanager|nodemanager 分别启动 star 阅读全文
posted @ 2017-01-23 15:04 unknow16 阅读(734) 评论(0) 推荐(0)
[原创]Hadoop-2.5.2-HA原文译
摘要:使用the Quorum Journal Manager实现HDFS高可用 2017/1/22 11:57:22 "原文" 目的(Purpose) 这个指南提供了对HDFS HA特性,使用QJM特性如何去配置和管理一个HA集群的概述。 Note 通过QJM在Active和Standby NameNo 阅读全文
posted @ 2017-01-23 10:54 unknow16 阅读(433) 评论(0) 推荐(0)
不在折腾----hadoop-2.4.1完全分布式集群搭建
摘要:前言 hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop 2.4.1又增加了YARN HA 注意:apache提供的hadoop 2.4.1的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装h 阅读全文
posted @ 2016-12-24 18:07 unknow16 阅读(216) 评论(0) 推荐(0)
不在折腾---hbase-0.96.2-hadoop2
摘要:首先安装好zookeeper集群 上传hbase安装包 解压 配置hbase集群,要修改3个文件 修改hbase env.sh 设置JAVA_HOME: export JAVA_HOME=... 告诉hbase使用外部的zookeeper: export HBASE_MANAGES_ZK=false 阅读全文
posted @ 2016-12-24 18:02 unknow16 阅读(163) 评论(0) 推荐(0)
不在折腾---hive-0.13.1-bin
摘要:Hive只在一个节点安装即可 上传tar包 解压 tar zxvf hive 0.13.1 bin.tar.gz 配置mysql 检查MySQL是否安装:rpm qa | grep mysql 卸载MySQL:rpm e nodeps mysql libs 5.1.66 2.el6_3.i686 安 阅读全文
posted @ 2016-12-24 15:57 unknow16 阅读(179) 评论(0) 推荐(0)
不在折腾---storm-0.9.2-incubating分布式安装
摘要:安装一个zookeeper集群 请参考:不在折腾 zookeeper 3.4.5 上传strom的安装包 解压 配置,conf/storm.yaml 所使用的zookeeper集群主机 "yarn01" "yarn02" "yarn03" nimbus所在的主机名 nimbus.host: "yar 阅读全文
posted @ 2016-12-24 14:53 unknow16 阅读(162) 评论(0) 推荐(0)
zookeeper的zoo.cfg的配置
摘要:zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg,需要将其修改为zoo.cfg。其中各配置项的含义,解释如下: 1. tickTime:CS通信心跳时间 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时 阅读全文
posted @ 2016-12-22 15:43 unknow16 阅读(556) 评论(0) 推荐(0)
不在折腾----zookeeper-3.4.5
摘要:上传zk安装包 解压 配置(先在一台节点上配置) 添加一个zoo.cfg配置文件 $ZOOKEEPER/conf mv zoo_sample.cfg zoo.cfg 修改配置文件(zoo.cfg) dataDir=/home/hadoop/app/zookeeper 3.4.5/data serve 阅读全文
posted @ 2016-12-22 12:50 unknow16 阅读(135) 评论(0) 推荐(0)
不再折腾-----hadoop-1.2.1完全分布式安装
摘要:三台虚拟机,强烈推荐vmware + centos6.5 三台虚拟机均设有hadoop用户 IP地址设置 IP地址 hostname 192.168.11.100 master 192.168.11.101 slave1 192.168.11.102 slave2 说明:#开头表示root用户,$开 阅读全文
posted @ 2016-11-30 17:35 unknow16 阅读(248) 评论(0) 推荐(0)