ErBing

往事已经定格,未来还要继续。

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2018年10月29日

摘要:一、简介 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务 HBase – Had 阅读全文
posted @ 2018-10-29 17:22 ErBing 阅读(806) 评论(0) 推荐(0) 编辑

摘要:本地测试环境(windows):1、在windows下配置hadoop的环境变量2、拷贝debug工具(winutils.exe)到hadoop目录中的bin目录,注意winutils.exe的版本要与hadoop版本对应,否则可能会报错。3、修改hadoop的源码 ,注意:确保项目的lib需要真实 阅读全文
posted @ 2018-10-29 14:50 ErBing 阅读(871) 评论(0) 推荐(0) 编辑

摘要:1. 表的设计 1.1 Pre-Creating Regions 默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的re 阅读全文
posted @ 2018-10-29 11:34 ErBing 阅读(5265) 评论(1) 推荐(0) 编辑