sqoop-1.4.7 搭建

sqoop搭建环境：   jdk1.8    hadoop分布式集群（HDFS）     HIVE（看使用情况）   

下载网址：http://sqoop.apache.org/ 

建议： sqoop1.4.4版本，线上使用比较好，网上相关文档也多    （推介线上使用）

            sqoop1.99.7版本，创建job方式规范化，但网上资料较少

 

步骤：

1.解压包

2.配置sqoop环境变量  ，sqoop目录下的conf下  拷贝sqoop-env-template.sh 为 sqoop-env.sh

3.将mysql驱动包mysql-connector-java-5.1.40.jar 拷贝到sqoop/lib 目录下

4.修改sqoop配置 文件：  sqoop-env.sh 

export HADOOP_COMMON_HOME=/mydata/hadoop-2.7.4
export HADOOP_MAPRED_HOME=/mydata/hadoop-2.7.4
export HIVE_HOME=/mydata/hive-2.3.6
export ZOOCFGDIR=/mydata/zookeeper-3.4.5

5.将 hive-common-2.3.3.jar包拷贝到hive的lib目录下  （需要用到hive时拷贝）

6.把java-json.jar添加到../sqoop/lib目录（解决NoClassDefFoundError: org/json/JSONObject报错）
7.配置sqoop环境变量 /etc/profile

#sqoop
export SQOOP_HOME=/mydata/sqoop1.4.6
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$SQOOP_HOME/bin
8.直接使用