ETL工具 -- Sqoop

1. 概述

• Sqoop是apache旗下的一款 ”Hadoop和关系数据库之间传输数据”的工具
  导入数据：将MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统
  导出数据：从Hadoop的文件系统中导出数据到关系数据库
  

2. Sqoop的工作机制

• 将导入和导出的命令翻译成mapreduce程序实现
• 在翻译出的mapreduce中主要是对inputformat和outputformat进行定制

3. Sqoop1与Sqoop2架构对比

• sqoop在发展中的过程中演进出来了两种不同的架构.架构演变史
• Sqoop1架构
  

​ 版本号为1.4.x为sqoop1
​ 在架构上：sqoop1使用sqoop客户端直接提交的方式
​ 访问方式：CLI控制台方式进行访问
​ 安全性：命令或脚本中指定用户数据库名及密码

• Sqoop2架构
  

​ 版本号为1.99x为sqoop2
​ 在架构上：sqoop2引入了sqoop server，对connector实现了集中的管理
​ 访问方式：REST API、 JAVA API、 WEB UI以及CLI控制台方式进行访问

• sqoop1与sqoop2比较