大数据平台搭建（六） ---- Sqoop安装

本文已参与[新人创作礼]活动，一起开启掘金创作之路。

大数据平台搭建架构图如下：

sqoop简介

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）* 中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。

sqoop安装配置

将软件上传到master节点

创建安装目录

mkdir /usr/sqoop

解压(找到自己压缩包的位置)

tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0 -C /usr/sqoop/

mv /usr/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0 /usr/sqoop/sqoop-1.4.7

添加进环境变量

vi /etc/profile

添加内容如下：

export SQOOP_HOME=/usr/sqoop/sqoop-1.4.7

export PATH=$PATH:$SQOOP_HOME/bin

重新加载环境变量配置文件

source /etc/profile

查询版本

sqoop version

修改配置文件

修改sqoop-env.sh配置文件

cd /usr/sqoop/sqoop-1.4.7conf/

cp sqoop-env-template.sh sqoop-env.sh

vi sqoop-env.sh

添加内容如下（最后一行）：

export HADOOP_COMMON_HOME=/usr/local/hadoop

export HADOOP_MAPRED_HOME=/usr/local/hadoop

export HIVE_HOME=/usr/hive

export HBASE_HOME=/usr/hbase/hbase-1.7.1

保存，退出

拷贝 JDBC 驱动

提前上传jar包到master节点

cp mysql-connector-java-5.1.27-bin.jar /opt/sqoop/lib/

测试是否安装完成

sqoop help

连接Mysql数据库

sqoop list-databases --connect jdbc:mysql://node2:3306/ --username root --password '123456'

注释警示提醒

vi /usr/sqoop/sqoop-1.4.7/bin/configure-sqoop

需要注释的内容如下：

保存，退出

截图如下：

再次输入

sqoop help 就会发现少了警示提醒

感谢大家的支持，关注，转发，评论！