Fork me on GitHub

随笔分类 -  HBase专栏

Hive篇---Hive与Hbase整合
摘要：一、前述 Hive会经常和Hbase结合使用，把Hbase作为Hive的存储路径，所以Hive整合Hbase尤其重要。 二、具体步骤 hive和hbase同步https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration1、把hiv 阅读全文
posted @ 2018-01-22 19:35 L先生AI课堂 阅读(640) 评论(0) 推荐(0)
Hbase篇--HBase中一对多和多对多的表设计
摘要：一.前述 今天分享一篇关于HBase的一对多和多对多的案例的分析。 二.具体案例 案例一.多对多 人员-角色 人员有多个角色 角色优先级 角色有多个人员 人员 删除添加角色 角色 可以添加删除人员 人员 角色 删除添加 PS：说明，两张表User表和Role表， User表中定义两个列族，第一个列族 阅读全文
posted @ 2018-01-17 21:22 L先生AI课堂 阅读(785) 评论(0) 推荐(0)
Hbase篇--Hbase和MapReduce结合Api
摘要：一.前述 Mapreduce可以自定义Inputforma对象和OutPutformat对象，所以原理上Mapreduce可以和任意输入源结合。 二.步骤 将结果写会到hbase中去。 2.1 Main函数 2.2 Mapper函数（和正常的Mapper没啥区别） 2.3 Reduce函数（主要是把 阅读全文
posted @ 2018-01-16 23:39 L先生AI课堂 阅读(464) 评论(0) 推荐(0)
HBase篇--HBase常用优化
摘要：一.前述 HBase优化能够让我们对调优有一定的理解，当然企业并不是所有的优化全都用，优化还要根据业务具体实施。 二.具体优化 1.表的设计 1.1 预分区 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到 阅读全文
posted @ 2018-01-16 23:19 L先生AI课堂 阅读(11442) 评论(0) 推荐(0)
HBase篇--HBase操作Api和Java操作Hbase相关Api
摘要：一.前述。 Hbase shell启动命令窗口，然后再Hbase shell中对应的api命令如下。 二.说明 Hbase shell中删除键是空格+Ctrl键。 三.代码 1.封装所有的API 2.原始Api 解析： 1. String rowkey = pnum + "_" + (Long.MA 阅读全文
posted @ 2018-01-16 18:32 L先生AI课堂 阅读(2219) 评论(0) 推荐(0)
HBase篇--搭建HBase完全分布式集群
摘要：一.前述。 完全分布式基于hadoop集群和Zookeeper集群。所以在搭建之前保证hadoop集群和Zookeeper集群可用。可参考本人博客地址 https://www.cnblogs.com/LHWorldBlog/p/8232935.html搭建hadoop集群 二.集群规划。 说明：因为 阅读全文
posted @ 2018-01-12 21:44 L先生AI课堂 阅读(10788) 评论(2) 推荐(0)
HBase篇--初始Hbase
摘要：一.前述 1.HBase，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。2.利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务。 3.主要用来存储非结构化和半结构化的松散数据（列 阅读全文
posted @ 2018-01-12 19:28 L先生AI课堂 阅读(521) 评论(0) 推荐(0)