摘要: 1 StoreFile Compaction 由于memstore每次刷写都会生成一个新的HFile,且同一个字段的不同版本(timestamp)和不同类型(Put/Delete)有可能会分布在不同的HFile中,因此查询时需要遍历所有的HFile。为了减少HFile的个数,以及清理掉过期和删除的数 阅读全文
posted @ 2021-09-03 23:36 秋华 阅读(101) 评论(0) 推荐(0)
摘要: 创建类HBase_DML 1 插入数据 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.HBaseConfiguratio 阅读全文
posted @ 2021-09-03 23:32 秋华 阅读(86) 评论(0) 推荐(0)
摘要: 1)整体流程 2)Merge细节 读流程 1)Client先访问zookeeper,获取hbase:meta表位于哪个Region Server。 2)访问对应的Region Server,获取hbase:meta表,根据读请求的namespace:table/rowkey,查询出目标数据位于哪个R 阅读全文
posted @ 2021-09-03 23:03 秋华 阅读(54) 评论(0) 推荐(0)
摘要: 1 写流程 写流程: 1)Client先访问zookeeper,获取hbase:meta表位于哪个Region Server。 2)访问对应的Region Server,获取hbase:meta表,根据读请求的namespace:table/rowkey,查询出目标数据位于哪个Region Serv 阅读全文
posted @ 2021-09-03 22:58 秋华 阅读(121) 评论(0) 推荐(0)
摘要: 1 基本操作 1.1 进入HBase客户端命令行 [atguigu@hadoop102 hbase]$ bin/hbase shell 1.2 查看帮助命令 hbase(main):001:0> help 2 namespace的操作 2.1 查看当前Hbase中有哪些namespace hbase 阅读全文
posted @ 2021-09-03 22:49 秋华 阅读(316) 评论(0) 推荐(0)
摘要: 第一步:点击Tools–>Deployment–>Configuration 第二步:点击左上角的加号–>Name(随便取个名)–>Type(选择SFTP) 第三步:在Connection模块填以下参数SFTP host:服务器地址Port:默认端口22Root path:要部署项目的根目录 第四步 阅读全文
posted @ 2021-09-03 20:58 秋华 阅读(239) 评论(0) 推荐(0)
摘要: 前提:运行一个Linux系统,并获得其登录ip地址,拥有一个登录账号。我是在云服务器上有一个虚拟主机,故以其为例说明。没有虚拟主机,也可以在VMware上创建一个Linux主机进行测试。 1 建立SFTP。 在settings界面中,建立一个SFTP服务(安全文件传输)。 输入服务名。 2 登录服务 阅读全文
posted @ 2021-09-03 20:20 秋华 阅读(364) 评论(0) 推荐(0)