摘要：
一、sqoop作用？ sqoop是一个数据交换工具，最常用的两个工具是导入导出。 导入导出的参照物是hadoop，向hadoop导数据就是导入。 二、sqoop的版本？ sqoop目前有两个版本，1.4.X为sqoop1；1.99.X为sqoop2。两个版本不兼容。 三、使用sqoop列出mysql 阅读全文
posted @ 2016-07-22 15:57
dongdone
阅读(30898)
评论(8)
推荐(0)
摘要：
hbase提供了类似于触发器的组件observer,类似于存储过程的endpoint。 hbase中的observer分别三类，MasterObserver、RegionObserver、WALObserevr 使用java代码也可以达到相同的效果，但是服务器端的observer相对是比较高效的 一 阅读全文
posted @ 2016-07-21 15:17
dongdone
阅读(2263)
评论(0)
推荐(0)
摘要：
需求：对hbase的一张表进行拷贝 一、table1的内容如下 二、现在将table1拷贝 hbase org.apache.hadoop.hbase.mapreduce.CopyTable --new.name=table2 table1 三、scan table2中的数据 阅读全文
posted @ 2016-07-21 11:41
dongdone
阅读(486)
评论(0)
推荐(0)
摘要：
需求：将HDFS上的文件中的数据导入到hbase中 实现上面的需求也有两种办法，一种是自定义mr，一种是使用hbase提供好的import工具 一、hdfs中的数据是这样的 每一行的数据是这样的id name age gender birthday 二、自定义mr 2.1打包运行 首先在hbase中 阅读全文
posted @ 2016-07-21 11:00
dongdone
阅读(19040)
评论(0)
推荐(2)
摘要：
本次操作的hbase的t1表的数据是： 需求1：查询rk为数字的全部记录 需求2：查询以字母a开头的数据 阅读全文
posted @ 2016-07-20 16:27
dongdone
阅读(2113)
评论(0)
推荐(0)
摘要：
一、目的 把hbase中某张表的数据导出到hdfs上一份。 实现方式这里介绍两种：一种是自己写mr程序来完成，一种是使用hbase提供的类来完成。 二、自定义mr程序将hbase数据导出到hdfs上 2.1首先看看hbase中t1表中的数据： 2.2mr的代码如下： 比较重要的语句是 job.set 阅读全文
posted @ 2016-07-20 11:55
dongdone
阅读(14657)
评论(0)
推荐(0)
摘要：
在map或者reduce函数中使用System.out.println打印的信息沾满查看呢？ 步骤1：启动history server /usr/local/hadoop-2.6.0/sbin/mr-jobhistory-daemon.sh start historyserver 步骤2：使用htt 阅读全文
posted @ 2016-07-20 11:19
dongdone
阅读(436)
评论(0)
推荐(0)
摘要：
一、简单介绍 hive的元数据保存在metastore里面，真实的数据一般位于hdfs中，可以通过hql来对数据进行分析。hbase中的数据也是存放在hdfs上的，可不可以使用hive来分析hbase中的数据呢？ 二、hive表到hbase表的映射 2.1hbase表t1的结构和其中的数据如下图 2 阅读全文
posted @ 2016-07-18 15:10
dongdone
阅读(6080)
评论(0)
推荐(0)
摘要：
一、phoenix的简介 hbase的java api或者其语法很难用，可以认为phoenix是一个中间件，提供了访问hbase的另外的语法。 二、配置phoenix和hbase 1.下载 phoenix的官网是：http://phoenix.apache.org/，用户可以到该网址找到对应hbas 阅读全文
posted @ 2016-07-18 13:33
dongdone
阅读(1983)
评论(0)
推荐(0)
浙公网安备 33010602011771号