Hbase进阶

Hbase Shell

• 建表：create'表名','列族名1' ,'列族名2',

  create 'student','info'

• 插入数据 put '表名', '行键', '列名', '值'

  put 'student','1001','info:name','Nick'

• 查询（获得row key 为1001的数据）

  get 'student','1001'

Hbase 表设计

• 需求1：通话记录

  手机号 通话时长 对方手机号 日期 类型（主叫，被叫）

• 设计：rowKey

  <1>手机号：唯一标识
  <2>时间戳（倒序）：通话记录应该展示最新的，此字段迎合rowKey字典序
  phone_(long.maxValue-timestamp)

• 设计：列簇

  cf:length=,cf:data=,cf:dnum=,cf:type=

• 需求2：

  表：
  人员有多个角色  角色优先级
  角色有多个人员
  人员 删除添加角色
  角色 可以添加删除人员
  人员 角色 删除添加
  数据：
  001小红 班长100，学委200
  002小白 学委，劳委300
  003小黑 劳委，体委400

• 设计-一张表

  【人员角色表】
  rowkey： cf1:(基本信息) cf2:（角色列表） cf3:(人员列表)
  pid cf1:pname=,cf1:page= cf2:rid=?,cf2:rid2=?
  rid cf1:rname=?,cf1:rdesc=? cf3:pid=?,cf3:pid2=?

• 设计-两张表

  【psn】
  rowkey： cf1:(人员信息) cf2:(角色列表)
  pid
  001 cf1:name=小红 cf2:100=10,cf2:200=9
  002 cf1:name=小白 cf2:200=10,cf2:300=9
  003 cf1:name=小黑 cf2:300=10,cf2:400=9
  004 cf1:name=小绿

  【role】
  rowkey: cf1：(角色信息) cf2:(人员列表)
  rid
  100 cf1:name=班长 cf2:001=小红
  200 cf1:name=学委 cf2:001=小红，cf2:002=小白
  300 cf1:name=劳委 cf2:001=小黑，cf2:002=小白
  400 cf1:name=体委 cf2:001=小黑，

• 需求3

  组织架构 部门-子部门
    查询 顶级部门
    查询 每个部门的所有子部门
    部门 添加、删除子部门
    部门 添加、删除

  CEO300
  develop 100
  develop1 200
  develop2 400
  web800
  web1 700
  web2 1100
  test 600
  test1 500
  test2 900
  test3 1000

• 设计

  【dept】
  rowkey: cf:(部门信息) cf2:(子部门列表)
  did
  300 cf:name=ceo, cf2:100=,cf2:800=?,cf2:600=?
  100 cf:name=develop,cf:fid=300 cf2:200=,
  200 cf:name=develop1,cf:fid=100
  400 cf:name=develop2,cf:fid=100
  800 cf:name=web,cf:fid=300 cf2:700=?,cf:1100=?
  700 cf:name=web1,cf:fid=800
  1100 cf:name=web2,cf:fid=800

Hbase MR

• Runner

  // 配置文件设置
  Configuration conf = new Configuration();
  conf.set("hbase.zookeeper.quorum", "node1,node2,node3");
  conf.set("fs.defaultFS", "hdfs://node1:8020");

  Job job = Job.getInstance(conf);
  job.setJarByClass(WCRunner.class);

  job.setMapperClass(WCMapper.class);
  job.setMapOutputKeyClass(Text.class);
  job.setMapOutputValueClass(IntWritable.class);

TableMapReduceUtil.initTableReducerJob("wc", WCReducer.class, job, null, null, null, null, false);

FileInputFormat.addInputPath(job, new Path("/usr/wc"));
// reduce端输出的key和value的类型
job.setOutputKeyClass(NullWritable.class);
job.setOutputValueClass(Put.class);

// job.setOutputFormatClass(cls);
// job.setInputFormatClass(cls);

job.waitForCompletion(true);

• mapper

  String[] splits = value.toString().split(" ");
  for (String string : splits) {
  context.write(new Text(string), new IntWritable(1));
  }

• reducer

  public class WCReducer extends TableReducer<Text, IntWritable, ImmutableBytesWritable>{

  @Override
  protected void reduce(Text key, Iterable iter,
  Context context)
  throws IOException, InterruptedException {
  int sum = 0;
  for (IntWritable intWritable : iter) {
  sum+=intWritable.get();
  }
  Put put = new Put(key.toString().getBytes());
  put.add("cf".getBytes(), "cf".getBytes(), String.valueOf(sum).getBytes());
  context.write(null, put);
  }
  }

Hbase&Hive

• Hive简介

  (1) 数据仓库
  Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。
  (2) 用于数据分析、清洗
  Hive适用于离线的数据分析和清洗，延迟较高。
  (3) 基于HDFS、MapReduce
  Hive存储的数据依旧在DataNode上，编写的HQL语句终将是转换为MapReduce代码执行。

• Hive架构

• Hive建表-插入数据-MRSQL

  【建表-外部表内部表】
  create table psn
  (
  id int,
  name string,
  likes array,
  address map<string,string>
  )
  row format delimited
  fields terminated by ','
  collection items terminated by '-'
  map keys terminated by ':';
  【load加载数据】
  1,小明1,lol-book-movie,beijing:shangxuetang-shanghai-pudong
  2,小明2,lol-book-movie,beijing:shangxeutang-shanghai-pudong
  【查询-分区-分桶-触发MR】
  select splite(line,' ') from wc
  result：
  ["A","B"]
  ["A","B","C"]
  ["A","B","C","D"]

  [explode(ARRAY) 列表中的每个元素生成一行]

  select explode(splite(line,' ')) from wc
  result：
  A
  B
  A
  B
  C
  [word是别名]
  from (select explode(split(line,' ')) word from wc) t
  insert into wc_result
  select word,count(word) group by word;

• Hbase架构

• Hbase简介

  (1) 数据库
  是一种面向列存储的非关系型数据库。
  (2) 用于存储结构化和非结构化的数据
  适用于单表非关系型数据的存储，不适合做关联查询，类似JOIN等操作。
  (3) 基于HDFS
  数据持久化存储的体现形式是Hfile，存放于DataNode中，被ResionServer以region的形式进行管理。
  (4) 延迟较低，接入在线业务使用
  面对大量的企业数据，HBase可以直线单表大量数据的存储，同时提供了高效的数据访问速度。

• Hbase Shell增删改查

Hive和Hbase的配合