摘要：原文地址：http://qiao-wl.blog.163.com/blog/static/624875662012814102021703/hbase 异常处理 2013-01-08 15:37:19,565 WARN org.apache.hadoop.ipc.HBaseServer: IPC Server listener on 60000: readAndProcess threw exception java.io.IOException: Connection reset by peer. Count of bytes read: 0java.io.IOException: Conn 阅读全文

摘要：请参考：http://stackoverflow.com/questions/4966592/hadoop-safemode-recovery-taking-too-longanswer:“I had it once, where some blocks were never reported in. I had to forcefully let the namenode leave safemode (hadoop dfsadmin -safemode leave) and then run an fsck to delete missing files.” 这个提示我们在出现部分bloc 阅读全文

摘要：命令：disable 'tableName' --disable表。注：修改表结构时，必须要先disable表。命令：enable 'tableName' --使表可用命令：drop 'tableName' --删除表HBase基本命令名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录 put '表名称', '行名称', '列名称:', '值'查看记录get '表名称 阅读全文

摘要：原文地址：http://www.cnblogs.com/rilley/archive/2012/02/13/2349858.html一、添加节点1.修改host 和普通的datanode一样。添加namenode的ip2.修改namenode的配置文件conf/slaves 添加新增节点的ip或host3.在新节点的机器上，启动服务[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker 4.均衡. 阅读全文

摘要：原文地址：http://blog.sina.com.cn/s/blog_940224600100z7kt.htmlFS Shell调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对 HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和 authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可 以表示h 阅读全文

摘要：ssh配置 主机A：10.0.5.199主机B：10.0.5.198需要配置主机A无密码登录主机A，主机B先确保所有主机的防火墙处于关闭状态。在主机A上执行如下：　1.　$cd ~/.ssh　2.　$ssh-keygen -t rsa--------------------然后一直按回车键，就会按照默认的选项将生成的密钥保存在.ssh/id_rsa文件中。　3.　$cp id_rsa.pub authorized_keys 这步完成后，正常情况下就可以无密码登录本机了，即ssh localhost，无需输入密码。　4.　$scp authorized_keyssummer@10.0.5... 阅读全文

摘要：hadoop安装包：hadoop0.20.205.0.tar.gz操作系统： fedora14jdk版本： jdk1.6.0_31一、安装过程 对于hadoop ,不同的系统会有不同的节点划分方式。在HDFS看来，节点分为Namenode和Datanode，其中Namenode只有一个，datanode可以有多个；在MapReduce看来，节点又分为jobtracker和tasktracker，其中jobtracker只有一个，而tasktacker可以有多个。namenode和jobtracker可以部署在不同的机器上，也可以部署在同一机器上。部署namenode和／或jobtra... 阅读全文

摘要：HBase安装笔记目标在两台机器上安装Hadoop和HBase作为实验，两台机器分别作为主从。背景环境对Hadoop,HBase有一定了解Fedora14JDK 1.6.0_31Hadoop 0.20.205.0HBase 0.90.5安装Hadoop参考：拓扑结构：两台机器，主机名分别为：summer1,summer2, summer1为NameNode + JobTracker + DataNode + TaskTracker, summer2仅为DataNode + TaskTracker一定要下载 0.20.205.0 以后版本，合并了可以和 HBase 兼容的代码分支 ... 阅读全文

摘要：hadoop的配置方法，网上有很多的文章，个人推荐：hadoop开发者第一期.pdf。推荐连接：http://qinxuye.me/article/install-hadoop/在这里，我就不赘述hadoop的具体配置方法了，只写一下自己在配置伪分布模式时遇到的两个问题。我的环境为fedora13.1.安装完java和hadoop之后，直接在终端下运行start-all.sh，在启动namenode、datanode等进程时，分别要求输入密码，这是因为当前用户对hadoop文件夹没有使用权限造成的。解决办法：[summer@localhost ~]$ sudo chown -R summer: 阅读全文