SQOOP安装部署
1.环境准备
1.1软件版本
sqoop-1.4.5 下载地址
2.配置
sqoop的配置比较简单,下面给出需要配置的文件
2.1环境变量
sudo vi /etc/profile
SQOOP_HOME=/home/hadoop/source/sqoop-1.4.5 PATH=$SQOOP_HOME/bin export SQOOP_HOME
2.2sqoop-env.sh
#Set path to where bin/hadoop is available export HADOOP_COMMON_HOME=/home/hadoop/source/hadoop-2.5.1 #Set path to where hadoop-*-core.jar is available export HADOOP_MAPRED_HOME=/home/hadoop/source/hadoop-2.5.1 #set the path to where bin/hbase is available #export HBASE_HOME= #Set the path to where bin/hive is available export HIVE_HOME=/home/hadoop/source/hive-0.14.0 #Set the path for where zookeper config dir is #export ZOOCFGDIR=
注:目前我是木有配置HBase和Zookeeper的,若有需要的人可以将路径直接指定到HBase和Zookeeper的安装路径下。
2.3异常
Streaming result set com.mysql.jdbc.RowDataDynamic@12e9d40f is still active
执行sqoop脚本时,出现这个异常是因为mysql的驱动的原因,使用最新的mysql驱动包。
解决方案:
wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.32.tar.gz
然后解压到sqoop目录的lib目录下,重新执行脚本正常。
至此,sqoop的安装配置以及使用到此完成。
联系方式:
邮箱:smartloli.org@gmail.com
Twitter:https://twitter.com/smartloli
QQ群(Hadoop - 交流社区1):424769183
QQ群(Kafka并不难学): 825943084
温馨提示:请大家加群的时候写上加群理由(姓名+公司/学校),方便管理员审核,谢谢!
邮箱:smartloli.org@gmail.com
Twitter:https://twitter.com/smartloli
QQ群(Hadoop - 交流社区1):424769183
QQ群(Kafka并不难学): 825943084
温馨提示:请大家加群的时候写上加群理由(姓名+公司/学校),方便管理员审核,谢谢!