sqoop1.99.4安装与简介


 1.什么是sqoop

clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具


 

2.版本及其区别

现在分为sqoop1和sqoop2

 1)架构图(sqoop1和hadoop2完全不兼容)

  

  

  2)优缺点:

  sqoop1的架构,仅仅使用一个sqoop客户端,sqoop2的架构,引入了sqoop server集中化管理connector,以及rest api,web,UI,并引入权限安全机制。 
  sqoop1优点架构部署简单 
  sqoop1的缺点命令行方式容易出错,格式紧耦合,无法支持所有数据类型,安全机制不够完善,例如密码暴漏,安装需要root权限,connector必须符合JDBC模型 
  sqoop2的优点多种交互方式,命令行,web UI,rest API,conncetor集中化管理,所有的链接安装在sqoop server上,完善权限管理机制,connector规范化,仅仅负责数据的读写。 
  sqoop2的缺点,架构稍复杂,配置部署更繁琐。 


sqoop服务器端存在着2个connector,每个connector既可以充当FORM也可以充当TO,由connector组成link,再由FROM link和TO link组成一个JOB

sqoop的底层实现是MR

sqoop客户端有shell、rest API和java APIs三种方式。rest API是基于TOMCAT服务器的。

三个组件的唯一标示符是 ID。


 

3.编译

  sqoop2虽然部署繁琐了,但是必须是趋势。

  官网上提供了binary包和源码包,

  

  (我比较疑惑的是binary包中有pom.xml,也就是说可以编译,当然编译出来的就是这样一个binary;源码包不挂src字样)

  下载sqoop-1.99.4.tar.gz,以及依赖的maven等。在README.txt中有编译指示:mvn package -Pbinary -Dhadoop.profile=100;

  sqoop2已经对hadoop的版本支持的很好,支持hadoop1和hadoop2,不过编译的时候要指定,所以命令应该为:

  mvn package -Pbinary -Dhadoop.profile=200 -DskipTests(我习惯性的跳过测试阶段)

  1.99.4已经没有了1.99.3中maven插件版本的bug,不过要更改JDK,使它和自己环境的JDK版本一致;

  在包中的pom.xml中,默认是1.6,我的环境中JDK是1.7,则改为1.7

  

  在编译的过程中总是卡在一个生成tomcat包中的地方

  

  始终过不去,更改网络不行,而且本身这个链接就可以连接到,所以应该一个BUG或者自己的某些原因

  我的解决办法是自己下载对应版本然后手动改名称后放到dist/target包下面就可以了

  


 

4.安装  

  安装还是比较简单的,而且docs中已经给了官方步骤以及要求(最大的要求就是HADOOP)

  1).下载解压

  ... ...

  2).修改安装目录下的server/conf中的sqoop.properties,在132行把hadoop配置文件路径替换成自己的

  

  3).修改安装目录下的server/conf中的catalina.properties,把属性common.loader值修改成自己的目录

  (我把sqoop目录下中server/lib/的jar包也包含进去了,官网没让包含,但是不包含后面会出问题)

  4).把JDBC的驱动拷到${SQOOP_HOME}/lib/目录下(默认没有lib文件夹,自己创建,官网说了)

  

  5).把sqoop加入环境变量

  ... ...

  6).启动:sqoop2-server start
     停止:sqoop2-server stop

  (默认sqoop中bin目录下的脚步无执行权限的,要先给权限。官网也没说-_-!)

  

  

  7).进入shell:sqoop2 shell

  

  8).测试

   

  

  9).实例

  HDFS上建立文件,MySQL中建表

  

  

  建立Link

  

  

  建立 job

  

  执行 job

  

  过一会儿就可以查看结果了,可以使用 status job -j 1 来查看进度

  

  

  结果:

  

  

  


 

自己在编译的时候总是卡在生成tomcat的步骤上,浪费了不少时间,不过也带了一些好处,就是让我把doc一个单词一个单词的看完了,颇有收获

不过这个doc的缺点是没有给出比如利用sqoop在MySQL和hive之间传递数据的帮助文档和实例。没有这些实例就需要自己去摸索和百度谷歌了。

还有一点就是Apache的老毛病,doc的更新慢,也可以说是doc有错,而且不止一处,比如:

这是给出的更新Link的官方文档里面的解释,但实际中:

缩写好像在1.99.3中是 -x,但是1.99.4是 -l 。


MD,其实我最初的目的是把hive中的数据通过sqoop导出到mysql中,供查询使用,看了好几遍API以及看遍了亲爱的百度的文章,都没有能实现目的的方法

只有Google的时候才看到老外遇到同样的问题,认同了心里面不想认同的事实:sqoop2只支持传统数据库到HDFS之间的传输。没有hive和hbase!!

现在也明白了为什么sqoop在Apache官网上同时存在1.4.5和1.99.4两个版本的下载和文档。

看到 not feature complete ,想哭的心都有了。

采纳的答案是:

看来问题老外采纳了换回sqoop1的方案。不过使用sqoop2仍有方法

不过可以看到,是 less efficient 的,总归可以实现。

而 hive 将数据导出的方法有三种:http://blog.csdn.net/fuyangchang/article/details/5301839

分别是导出到另一张表中,导出到本地系统,导出到HDFS。对,到HDFS上中转一下... ...

导出到HDFS:
  hive> insert overwrite directory '/admln/sqoop2'
        > select * from test;

 还有一个值得注意的知识点是:JDBC链接的是数据库中的表;HDFS是基于目录的。



 

posted @ 2014-12-20 22:47 Daem0n 阅读(...) 评论(...) 编辑 收藏