随笔分类 -  hbase

learning journal
HBase数据快速导入之ImportTsv&Bulkload
摘要：导入数据最快的方式，可以略过WAL直接生产底层HFile文件 （环境：centos6.5、Hadoop2.6.0、HBase0.98.9） 1.SHELL方式 1.1 ImportTsv直接导入 命令：bin/hbase org.apache.hadoop.hbase.mapreduce.Impor 阅读全文
posted @ 2016-04-14 11:16 Daem0n 阅读(15019) 评论(1) 推荐(2)
导入数据到HBase的方式选择
摘要：Choosing the Right Import Method If the data is already in an HBase table: To move the data from one HBase cluster to another, use snapshot and either the clone_snapshot or ExportSnapshot utility; o... 阅读全文
posted @ 2016-04-12 10:55 Daem0n 阅读(624) 评论(0) 推荐(0)
hive和hbase整合的原因和原理
摘要：为什么要进行hive和hbase的整合？ hive是高延迟、结构化和面向分析的； hbase是低延迟、非结构化和面向编程的。 Hive集成Hbase就是为了使用hbase的一些特性。或者说是中和它们的特性。 Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要 阅读全文
posted @ 2014-12-17 15:35 Daem0n 阅读(687) 评论(0) 推荐(0)
琐碎-hadoop2.2.0-hbase0.96.0-hive0.13.1整合
摘要：关于hadoop和hive、hbase的整合就不说了，这里就是在hadoop2.2.0的环境下整合hbase和hive 因为hive0.12不支持hadoop2，所以还要替换一些hadoop的jar包，但是从0.13开始就方便多了 环境:centos6.6-x64、jdk1.7、hadoop2.2. 阅读全文
posted @ 2014-12-12 12:05 Daem0n 阅读(472) 评论(0) 推荐(0)
HBase-java api 基本操作
摘要：使用的是完全分布式，详细信息为： 操作的Java 代码（抄的别人的） 运行结果为： 没报什么错误，只有一个没有找到hadoop本地库的警告 关于新建表时的新API操作TableName.valueOf(tablename);我看了一下TableName的源码 valueOf是它的一个静态方法。注释我 阅读全文
posted @ 2014-11-11 14:05 Daem0n 阅读(920) 评论(0) 推荐(0)
HBase-配置说明
摘要：转载自：http://www.aboutyun.com/thread-7914-1-1.html hbase.rootdir这个目录是region server的共享目录，用来持久化Hbase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的 '/hbase'目录 阅读全文
posted @ 2014-11-11 09:11 Daem0n 阅读(1304) 评论(0) 推荐(0)
HBase-分布式安装
摘要：HBase的安装很简单，也是分为单机伪分布式和分布式 先保证hadoop环境JDK环境，我的是2.2.0和1.6_45 1.确定hadoop正常 2.上传HBase并解压，我用的是和hadoop2.2.0对应的0.96 3.然后配置。修改hbase-env.sh 先配置Java环境变量 再配置对zo 阅读全文
posted @ 2014-11-10 13:21 Daem0n 阅读(597) 评论(0) 推荐(0)
HBase-再看HBase
摘要：为什么HBase主要应用于在线应用系统？（还没搞懂） www.github.com/HBaseinaction google 三大论文 Google File System MapReduce BigTable HBase shell 是一个封装了Java api 的JRuby软件 一个表可以有多个 阅读全文
posted @ 2014-11-09 22:31 Daem0n 阅读(711) 评论(0) 推荐(0)
HBase-初看HBase
摘要：0.95版本hbase 单机模式下所有的服务都运行在一个JVM上，包括HBase和zookeeper。使用的是本地文件系统 日志默认放在目录下logs文件夹中 基本命令： create 'table','cf' //创建一个table名字的表，cloumn family为cf put 'table' 阅读全文
posted @ 2014-10-30 09:39 Daem0n 阅读(580) 评论(0) 推荐(1)