sqoop笔记
sqoop 应该算是一个ETL工具，方便的数据导入导出功能。
# Sqoop 用来导出hive数据到mysql的工具 # 下载 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz cd /usr/local/src # rz 上传到hadoop主机上 tar zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4.7 cd /usr/local/src/sqoop-1.4.7/conf cp sqoop-env-template.sh sqoop-env.sh vim sqoop-env.sh # 小技巧：光标在需要的地方，输入命令 :r!which hadoop 可以得到hadoop的路径，删除后面多余的即可。 export HADOOP_COMMON_HOME=/usr/local/src/hadoop-2.7.5 export HADOOP_MAPRED_HOME=/usr/local/src/hadoop-2.7.5 export HIVE_HOME=/usr/local/src/hive2.3.2 # 保存退出 ### 加入jdbc驱动 for mysql 可以从hive中复制一个过来。 cd /usr/local/src/hive2.3.2/lib cp mysql-connector-java-5.1.46.jar ../../sqoop-1.4.7/lib/ #----------------如果忘记了mysql密码，无法登录。可以先停止服务， #----------------然后以命令启动 mysqld_safe --skip-grant-tables & #----------------则可以跳过密码。 ## 查看支持的命令：cd /usr/local/src/sqoop-1.4.7/bin ll total 88 -rwxr-xr-x 1 1000 1000 6770 Dec 19 07:00 configure-sqoop -rwxr-xr-x 1 1000 1000 6533 Dec 19 07:00 configure-sqoop.cmd -rwxr-xr-x 1 1000 1000 3133 Dec 19 07:00 sqoop -rwxr-xr-x 1 1000 1000 1055 Dec 19 07:00 sqoop.cmd -rwxr-xr-x 1 1000 1000 3060 Dec 19 07:00 sqoop-codegen -rwxr-xr-x 1 1000 1000 3070 Dec 19 07:00 sqoop-create-hive-table -rwxr-xr-x 1 1000 1000 3057 Dec 19 07:00 sqoop-eval -rwxr-xr-x 1 1000 1000 3059 Dec 19 07:00 sqoop-export -rwxr-xr-x 1 1000 1000 3057 Dec 19 07:00 sqoop-help -rwxr-xr-x 1 1000 1000 3059 Dec 19 07:00 sqoop-import -rwxr-xr-x 1 1000 1000 3070 Dec 19 07:00 sqoop-import-all-tables -rwxr-xr-x 1 1000 1000 3069 Dec 19 07:00 sqoop-import-mainframe -rwxr-xr-x 1 1000 1000 3056 Dec 19 07:00 sqoop-job -rwxr-xr-x 1 1000 1000 3067 Dec 19 07:00 sqoop-list-databases -rwxr-xr-x 1 1000 1000 3064 Dec 19 07:00 sqoop-list-tables -rwxr-xr-x 1 1000 1000 3058 Dec 19 07:00 sqoop-merge -rwxr-xr-x 1 1000 1000 3062 Dec 19 07:00 sqoop-metastore -rwxr-xr-x 1 1000 1000 3060 Dec 19 07:00 sqoop-version -rwxr-xr-x 1 1000 1000 3987 Dec 19 07:00 start-metastore.sh -rwxr-xr-x 1 1000 1000 1564 Dec 19 07:00 stop-metastore.sh ## 查看一下用法 ./sqoop-list-databases --help # 查看目标mysql库 ./sqoop-list-databases --connect jdbc:mysql://slave3 --username root --password 123456 # 查看目标mysql中某个表 ./sqoop-list-tables --connect jdbc:mysql://localhost/hive --username root --password 123456 #------------------------以上命令执行成功，表示sqoop安装成功------------------------- #------------------------------mysql to HDFS 示例------------------------------------ ./sqoop import \ --connect jdbc:mysql://slave3/test \ --username root \ --password 123456 \ --target-dir /sqooptest \ --fields-terminated-by ',' \ --table jos_jf_content \ --split-by id \ --m 2 ' # 以下是注释: # !!!! 一定要注意每行末尾的斜线后面不能再有空格或字符 --connect jdbc:mysql://slave3/test # 源库 --target-dir /sqooptest # 目标文件夹 --fields-terminated-by ',' # 字段分隔符 --table jos_jf_content # 源表 --split-by id # 分片字段 --m 2 # 分几片, 即maptask个数 ' ## 等待MR执行完成. sqoop的导入数据是没有reduce阶段的。 # 如果出现了找不到jar包的错误，则检查hadoop中的 mapred-site.xml # 是否缺少以下配置： <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> #------------------------------mysql to Hive 示例------------------------------------ ./sqoop import \ --connect jdbc:mysql://slave3/test \ --username root \ --password 123456 \ --fields-terminated-by ',' \ --table banner \ --hive-import \ --m 1 # 同上面的HDFS语句差不多，加上 --hive-import 去掉 --target-dir # 完成后进入hive的default库查看。 # 1. 如果出现错误：FileAlreadyExistsException: Output directory hdfs://xxxx/user/root/jos_banner already exists # 则执行hdfs dfs -rm -r /user/root/jos_banner 删除即可。 # 2. 如果出现错误：Could not load org.apache.hadoop.hive.conf.HiveConf.Make sure HIVE_CONF_DIR # 则在当前用户执行： vim ~/.bash_profile 加入 export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/usr/local/src/hive2.3.2/lib/* # 再 source ~/.bash_profile 目的也就是加入了hive所在目录所有的库文件路径 # 3. 错误ERROR Could not register mbeans java.security.AccessControlException: access denied ("javax.management.MBeanTrustPermission" "register") # 则执行：vim $JAVA_HOME/jre/lib/security/java.policy 增加一行 permission javax.management.MBeanTrustPermission "register"; # 4. 错误ERROR exec.DDLTask: java.lang.NoSuchMethodError: com.fasterxml.jackson.databind.ObjectMapper.readerFor(Ljava/lang/Class;)... # 则可能是jackson版本的不兼容。将$SQOOP_HOME/lib/jackson*.jar 文件bak，再把$HIVE_HOME/lib/jackson*.jar 拷贝至 $SQOOP_HOME/lib 目录中 #------------------------------导入时按条件------------------------------------ sqoop import \ --connect jdbc:mysql://slave3/test \ --username root \ --password 123456 \ --where "clicks='1'" \ --fields-terminated-by ',' \ --table banner \ --hive-import \ --m 1 #------------------------------按需导入 ------------------------------------ sqoop import \ --connect jdbc:mysql://slave3/test \ --username root \ --password 123456 \ --query 'SELECT id,type,name,clickurl,date FROM `banner` where id >5 and $CONDITIONS' \ --fields-terminated-by '\t' \ --target-dir /banner \ --hive-table banner \ --hive-import \ --m 1 #------------------------------增量 导入 ------------------------------------ sqoop import \ --connect jdbc:mysql://slave3/test \ --username root \ --password 123456 \ --fields-terminated-by '\t' \ --table banner \ --hive-import \ --m 1 --incremental append \ --check-column id \ --last-value 8 ############################################### 导出到mysql############## #--------------hdfs to mysql 需要提前在mysql中创建要接收数据的表。--------- #--------------characterEncoding=utf-8 是为了支持中文-------------------- sqoop export \ --connect "jdbc:mysql://slave3/test?useUnicode=true&characterEncoding=utf-8" \ --username root \ --password 123456 \ --input-fields-terminated-by ',' \ --table users \ --export-dir /data/stu_ext \ --m 1 #--------------Hive to mysql 需要提前在mysql中创建要接收数据的表。--------- sqoop export \ --connect "jdbc:mysql://slave3/test?useUnicode=true&characterEncoding=utf-8" \ --username root \ --password 123456 \ --input-fields-terminated-by ',' \ --table student \ --export-dir /user/hive/warehouse/test.db/student/ \ --m 1
