摘要：
一、HBase索引案例（使用redis存储索引） 在这里是简单模拟将索引存到redis中，再通过先查询索引再将Hbase中的数据查询出来。 需要考虑的问题： 1、建立redis的连接，建立Hbase的连接 2、如何创建索引，即创建索引的key和value的设计 3、如何通过将查到的索引，去查询到对应 阅读全文
posted @ 2022-06-19 21:16
a-tao必须奥利给
阅读(57)
评论(0)
推荐(0)
摘要：
一.HBase优化 2.1 行键的设计（重点） 实际上底层存储是按列族线性地存储单元格 列包括了HBase特有的列族和列限定符，从而组成列键。 磁盘上一个列族下所有的单元格 都存储在一个存储文件中，不同列族的单元格不会出现在同一个存储文件中。 每个单元格在实际存储时保存了行键和列键，所以每个单元格都 阅读全文
posted @ 2022-06-19 21:15
a-tao必须奥利给
阅读(159)
评论(0)
推荐(0)
摘要：
export-从hdfs中到出数据到MySQL中 HDFSToMySQL 编写脚本，并保存为HDFSToMySQL.conf 在往关系型数据库中导出的时候我们要先在关系型数据库中创建好库以及表，这些sqoop不会帮我们完成。 export --connect jdbc:mysql://master: 阅读全文
posted @ 2022-06-19 21:02
a-tao必须奥利给
阅读(231)
评论(0)
推荐(0)
摘要：
import-从MySQL中导入数据到hdfs中 从传统的关系型数据库导入HDFS、HIVE、HBASE...... MySQLToHDFS 编写脚本，保存为MySQLToHDFS.conf sqoop执行脚本有两种方式：第一种方式：直接在命令行窗口中直接输入脚本；第二种方式是将命令封装成一个脚本文 阅读全文
posted @ 2022-06-19 21:00
a-tao必须奥利给
阅读(129)
评论(0)
推荐(0)
摘要：
SQOOP简介： SQOOP安装 1、上传并解压 tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local/soft/ 2、修改文件夹名字 mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sq 阅读全文
posted @ 2022-06-19 20:57
a-tao必须奥利给
阅读(30)
评论(0)
推荐(0)
浙公网安备 33010602011771号