实验3 熟悉常用的HBase操作

1.实验目的

（1）理解HBase在Hadoop体系结构中的角色；
（2）熟练使用HBase操作常用的Shell命令；
（3）熟悉HBase操作常用的Java API。

2.实验平台

（1）操作系统：Linux；
（2）Hadoop版本：3.2.4；
（3）HBase版本：2.4.18；
（4）JDK版本：1.8；
（5）Java IDE：Eclipse。

3. 实验步骤

（一）编程实现以下指定功能，并用Hadoop提供的HBase Shell命令完成相同任务：

（1）列出HBase所有的表的相关信息，例如表名；
image
image

（2）在终端打印出指定的表的所有记录数据；
image
image

（3）向已经创建好的表添加和删除指定的列族或列；
image
image

（4）清空指定的表的所有记录数据；
image

（5）统计表的行数。
image

（二）HBase数据库操作

  1. 现有以下关系型数据库中的表和数据（见表14-3到表14-5），要求将其转换为适合于HBase存储的表并插入数据：
    表14-3 学生表（Student）
    学号（S_No） 姓名（S_Name） 性别（S_Sex） 年龄（S_Age）
    2015001 Zhangsan male 23
    2015002 Mary female 22
    2015003 Lisi male 24

表14-4 课程表（Course）
课程号（C_No） 课程名（C_Name） 学分（C_Credit）
123001 Math 2.0
123002 Computer Science 5.0
123003 English 3.0

表14-5 选课表（SC）
学号（SC_Sno） 课程号（SC_Cno） 成绩（SC_Score）
2015001 123001 86
2015001 123003 69
2015002 123002 77
2015002 123003 99
2015003 123001 98
2015003 123002 95
image
image

3.请编程实现以下功能：
image

（1）createTable(String tableName, String[] fields)
创建表，参数tableName为表的名称，字符串数组fields为存储记录各个字段名称的数组。要求当HBase已经存在名为tableName的表的时候，先删除原有的表，然后再创建新的表。
image

（2）addRecord(String tableName, String row, String[] fields, String[] values)
向表tableName、行row（用S_Name表示）和字符串数组fields指定的单元格中添加对应的数据values。其中，fields中每个元素如果对应的列族下还有相应的列限定符的话，用“columnFamily:column”表示。例如，同时向“Math”、“Computer Science”、“English”三列添加成绩时，字符串数组fields为{“Score:Math”, ”Score:Computer Science”, ”Score:English”}，数组values存储这三门课的成绩。
image

（3）scanColumn(String tableName, String column)
浏览表tableName某一列的数据，如果某一行记录中该列数据不存在，则返回null。要求当参数column为某一列族名称时，如果底下有若干个列限定符，则要列出每个列限定符代表的列的数据；当参数column为某一列具体名称（例如“Score:Math”）时，只需要列出该列的数据。
image

（4）modifyData(String tableName, String row, String column)
修改表tableName，行row（可以用学生姓名S_Name表示），列column指定的单元格的数据。
image

（5）deleteRow(String tableName, String row)
删除表tableName中row指定的行的记录。
image

4.实验报告

题目： 熟悉常用的HBase操作
姓名 刘美娟 12.7
实验环境：
（1）操作系统：Linux；
（2）Hadoop版本：3.2.4；
（3）HBase版本：2.4.18；
（4）JDK版本：1.8；
（5）Java IDE：Eclipse。

实验内容与完成情况：
1.掌握了HBase表设计思想：理解了行键设计、列族设计的重要性
2.熟悉了HBase Shell操作：掌握了create、put、get、scan等基本命令
3.学会了问题排查方法：通过日志分析、进程检查解决服务启动问题
4.理解了NoSQL与关系型数据库的区别：特别是数据模型和查询方式的差异
出现的问题：
1. Java API程序无法运行
2. 高级查询功能未实现
3. 性能优化未考虑
解决方案（列出遇到的问题和解决办法，列出没有解决的问题）：
问题： 依赖冲突无法解决
尝试的解决方案：
调整Maven依赖版本
添加缺失的jar包
使用不同的HBase版本
问题： RowKey设计简单，未考虑查询性能优化
改进方向：
使用盐值前缀解决热点问题
设计二级索引表
预分区优化