每日日报 20211006

sqoop安装

1.官网下载

2.上传到虚拟机

3一系列配置

3.1 配置环境变量

         编辑/etc/profile文件，添加SQOOP_HOME变量，并且将$SQOOP_HOME/bin添加到PATH变量中，编辑方法很多，可以将profile文件下载到本地编辑，也可以直接用vim命令编辑。

    添加的内容如下：

export  JAVA_HOME=/opt/java/jdk1.8.0_121

export  HADOOP_HOME=/opt/hadoop/hadoop-2.8.0

export  HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

export  HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native

export  HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib"

export  HIVE_HOME=/opt/hive/apache-hive-2.1.1-bin

export  HIVE_CONF_DIR=${HIVE_HOME}/conf

export  SQOOP_HOME=/opt/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha

export  CLASS_PATH=.:${JAVA_HOME}/lib:${HIVE_HOME}/lib:$CLASS_PATH

export  PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin: ${HIVE_HOME}/bin:${SQOOP_HOME}/bin:$PATH

 /etc/profile文件编辑完成后，执行命令：

   source    /etc/profile

3.2   Sqoop配置文件修改

3.2.1  sqoop-env.sh文件

3.2.1.1 新建

       进入到/opt/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf目录下，也就是执行命令：

cd     /opt/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf

     将sqoop-env-template.sh复制一份，并取名为sqoop-env.sh，也就是执行命令：

cp    sqoop-env-template.sh  sqoop-env.sh

3.2.1.2 编辑内容

      编辑这个新建的sqoop-env.sh文件，编辑方法有很多，可以下载到本地编辑，也可是使用vim命令编辑。

       在该文件末尾加入下面的配置：

export  HADOOP_COMMON_HOME=/opt/hadoop/hadoop-2.8.0

export  HADOOP_MAPRED_HOME=/opt/hadoop/hadoop-2.8.0

export  HIVE_HOME=/opt/hive/apache-hive-2.1.1-bin

3.3 将MySQL驱动包上载到Sqoop的lib下

         将MySQL的驱动包上载到Sqoop安装目录的lib子目录下

4  使用sqoop

       sqoop是一个工具，安装完成后，如果操作的命令不涉及hive和hadoop的，可以实现不启动hive和hadoop，直接输入sqoop命令即可，例如sqoop help命令。要使用hive相关的命令，必须事先启动hive和hadoop。