NN的随笔

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

随笔分类 -  hbase

摘要:Java对Hbase的各种操作都是通过HTable实现的,由于创建HTable是有消耗的,因此推荐只创建一个HTable的实例,如果必须使用多个HTable实例,可以使用HTablePool,本文不对HTablePool进行介绍。创建表:创建表是通过HBaseAdmin类实现的,通过HBaseAdmin 类主要是对于表的管理操作。 1 public static void createTable(String tableName, String[] cfs) throws IOException{ 2 HBaseAdmin admin = new HBaseAdmin(conf... 阅读全文
posted @ 2013-01-30 12:52 NNS 阅读(2301) 评论(0) 推荐(0) 编辑

摘要:thrift 是facebook开发并开源的一个二进制通讯中间件,通过thrift,我们可以充分利用各个语言的优势,编写高效的代码。关于thrift的论文:http://pan.baidu.com/share/link?shareid=234128&uk=3238841275安装thrift:http://thrift.apache.org/docs/install/ubuntu/安装完成后到hbase的目录下,找到Hbase.thrift,该文件在hbase-0.94.4/src/main/resources/org/apache/hadoop/hbase/thrift下可以找到th 阅读全文
posted @ 2013-01-21 21:35 NNS 阅读(18593) 评论(9) 推荐(1) 编辑

摘要:今天终于把MR处理Hbase的数据的程序搞定了,自己走了好多的弯路,程序写完之后,在本机的伪分布式的hadoop上跑是没问题的,可是把程序上传的集群上就出错了,最后发现是zookeeper没配对,在编译的时候没有把conf添加的CLASSPATH,这才导致出错的。 下面是MR测试的程序: 1 import java.io.IOException; 2 3 import org.apache.hadoop.conf.Configuration; 4 import org.apache.hadoop.hbase.HBaseConfiguration; 5 import org.apache... 阅读全文
posted @ 2013-01-10 23:22 NNS 阅读(3707) 评论(1) 推荐(1) 编辑

摘要:服务器: nodea -----> master nodeb -----> slave nodec -----> slave 新建一个hadoop的账户 sudo useradd -d /home/hadoop -m hadoop -s /bin/bash sudo passwd hadoop 密码任意。 安装必要环境 jdk安装 sudo apt-get install sun-java6-jdk 安装完成后jdk位置为/usr/lib/jvm/java-6-sun 建立ssh免密码登录。 ssh-keygen -t rsa scp authorized_keys hado 阅读全文
posted @ 2012-10-18 20:05 NNS 阅读(1143) 评论(0) 推荐(0) 编辑

摘要:首先要确保Nodejs和HBase环境搭建成功。 插入数据:使用put方法,插入数据既可以是插入单列也可以同时插入多列。 示例: 1: var hbase = require('hbase'); 2: var client = hbase({ 3: host:'localhost', 4: port:8090 5: }); 6: var table = client.getTable('testPut'); 7: table.create('cf',function(err,success){ 8: this 9: ... 阅读全文
posted @ 2012-10-15 21:09 NNS 阅读(6186) 评论(1) 推荐(1) 编辑

摘要:Nodejs使用的是REST API 与HBase链接的,项目的地址https://github.com/wdavidw/node-hbase 创建一个hbase的测试文件夹 进入hbase的测试文件夹下 npm install hbase 下载相应的Nodejs连接Hbase的库。 启动HBase,然后启动Hbase的REST Server,bin/hbase-daemon.sh start restREST Server默认监听8080端口,如果8080端口被占用,可以修改HBase的hbase-site.xml文件,添加下列属性。<property><name>h 阅读全文
posted @ 2012-10-15 14:47 NNS 阅读(3940) 评论(1) 推荐(1) 编辑