HBase安装笔记一Hadoop

下载

#wget http://archive.apache.org/dist/hadoop/common/hadoop-1.1.0/hadoop-1.1.0.tar.gz -P /usr/local/src
#tar zxvf hadoop-1.1.0.tar.gz
#mv hadoop-1.1.0.tar.gz /usr/local/hadoop

 编辑配置文件conf/hadoop-env.sh 

export JAVA_HOME=/usr/java/jdk1.6.0_30

 编辑配置文件conf/core-site.xml

<configuration>
<property>
    <name>fs.default.name</name>
    <value>hdfs://master:29000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
</property>
</configuration>

编辑配置文件conf/mapred-site.xml

<configuration>
<property>
    <name>mapred.job.tracker</name>
    <value>master:29001</value>
</property>
<property>
    <name>mapred.local.dir</name>
    <value>/usr/local/hadoop/tmp</value>
</property>
</configuration> 

编辑配置文件conf/hdfs-site.xml

<configuration>
<property>
    <name>dfs.name.dir</name>
    <value>/htfs/name1,/htfs/name2</value>
    <description></description>
</property>
<property>
    <name>dfs.data.dir</name>
    <value>/htfs/data1,/htfs/data2</value>
    <description></description>
</property>
<property>
    <name>dfs.replication</name>
    <value>2</value>
    <description></description>
</property>
</configuration> 

dfs.name.dir是NameNode持久存储名字空间及事务日志的本地文件系统路径。 当这个值是一个逗号分割的目录列表时，nametable数据将会被复制到所有目录中做冗余备份。
dfs.data.dir是DataNode存放块数据的本地文件系统路径，逗号分割的列表。 当这个值是逗号分割的目录列表时，数据将被存储在所有目录下，通常分布在不同设备上。
dfs.replication是数据需要备份的数量，默认是3，如果此数大于集群的机器数会出错。

注意：此处的name1、name2、data1、data2目录不能预先创建，hadoop格式化时会自动创建，如果预先创建反而会有问题。

编辑配置文件masters 

master

 编辑配置文件slaves 

slave-02
slave-03

 把配置好的hadoop文件夹拷贝到其他集群的机器中

#scp -r /usr/local/hadoop root@slave-02:/usr/local/hadoop
#scp -r /usr/local/hadoop root@slave-03:/usr/local/hadoop

格式化一个新的分布式文件系统

#/usr/local/hadoop/bin/hadoop namenode -format

启动所有节点

#/usr/local/hadoop/bin/start-all.sh

关闭所有节点

#/usr/local/hadoop/bin/stop-all.sh

测试

NameNode - http://master:50070/
JobTracker - http://master:50030/

netstat –nat查看端口29000和29001是否正在使用。

HDFS常用操作

hadoopdfs -ls 列出HDFS下的文件
hadoop dfs -ls in 列出HDFS下某个文档中的文件
hadoop dfs -put 1.txt test 上传文件到指定目录并且重新命名，只有所有的DataNode都接收完数据才算成功
hadoop dfs -get in getin 从HDFS获取文件并且重新命名为getin，同put一样可操作文件也可操作目录
hadoop dfs -rmr out 删除指定文件从HDFS上
hadoop dfs -cat in/* 查看HDFS上in目录的内容
hadoop dfsadmin -report 查看HDFS的基本统计信息，结果如下
hadoop dfsadmin -safemode leave 退出安全模式
hadoop dfsadmin -safemode enter 进入安全模式 

添加节点

可扩展性是HDFS的一个重要特性，首先在新加的节点上安装hadoop，然后修改conf/master文件，加入 NameNode主机名，然后在NameNode节点上修改conf/slaves文件，加入新加节点主机名，再建立到新加节点无密码的SSH连接

运行启动命令：

start-all.sh

然后可以通过http://master:50070查看新添加的DataNode 

负载均衡

start-balancer.sh，可以使DataNode节点上选择策略重新平衡DataNode上的数据块的分布