通过sqoop将hdfs数据导入MySQL

简介：Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

 

一、查看hdfs数据查看，参考 

[root@hadoop001 opt]# hadoop fs -text emp.txt /data/emp.txt
1250    yangyamei       doctor
1251    zhangzhenxing   doctor
1261    zhangjun        nurse
1265    Bob     doctor
2000    spark   nurse

 

参考：https://www.cnblogs.com/iloverain/p/8809950.html

二、MySQL数据库创建接收数据的空表emp_demo

mysql> select * from emp_demo;
Empty set (0.00 sec)

//表结构

mysql> desc emp_demo;
+----------+--------------+------+-----+---------+-------+
| Field    | Type         | Null | Key | Default | Extra |
+----------+--------------+------+-----+---------+-------+
| EMP_NO   | int(11)      | YES  |     | NULL    |       |
| EMP_NAME | varchar(255) | YES  |     | NULL    |       |
| Job      | varchar(255) | YES  |     | NULL    |       |
+----------+--------------+------+-----+---------+-------+

三、开始导出数据到MySQL

sqoop export \
--connect jdbc:mysql://hadoop001:3306/sqoop \
--username root \
--password 123456 \
--table emp_demo \
--export-dir /data/emp.txt \
-m 1 \
--verbose \
--fields-terminated-by '\t'

–table 指定MySQL接收数据的表 
–export-dir 指定从HDFS那个路径下导出数据 
–verbose 打印更多信息 
–fields-terminated-by ‘\t’ 指定分隔符为\t 记住必须指定分隔符否则报错

四、查看数据是否已经进入

mysql> select * from emp_demo;
+--------+---------------+--------+
| EMP_NO | EMP_NAME      | Job    |
+--------+---------------+--------+
|   1250 | yangyamei     | doctor |
|   1251 | zhangzhenxing | doctor |
|   1261 | zhangjun      | nurse  |
|   1265 | Bob           | doctor |
|   2000 | spark         | nurse  |
+--------+---------------+--------+

 工作总结：

1.查询表

./sqoop list-tables --connect jdbc:mysql://192.168.5.129:3306/hadoop --username root --password 111111

2.hdfs导出到mysql中

sqoop export --connect jdbc:mysql://192.168.5.129:3306/hadoop --table emp_demo --username root --password 111111 --export-dir /opt/hadoop/hive/ --input-fields-terminated-by '\t'

sqoop export --connect jdbc:mysql://192.168.5.129:3306/hadoop --table emp_demo --username root --password 111111 --export-dir /user/hive/warehouse/emp --input-fields-terminated-by '\t'

 

3.mysql导入到hdfs中

sqoop import --connect jdbc:mysql://192.168.5.129:3306/hadoop --username root --password 111111 --table emp_demo --fields-terminated-by '\t' -m 1

 4.导入报错

18/08/11 11:56:34 WARN hdfs.DataStreamer: Excluding datanode DatanodeInfoWithStorage[192.168.5.132:50010,DS-f3e2c26c-28a0-4226-b768-cf1585d38ba5,DISK]

 关闭防火墙

 5.将数据文件上传至hdfs

hadoop fs -put <local file or dir> <hdfs dir>    --hdfs dir 一定要存在，否则命令不会执行

 

6.sqoop定位数据行数

-Dorg.apache.sqoop.export.text.dump_data_on_error=true

参考：https://blog.csdn.net/qq_20064245/article/details/78352973

sqoop export -Dorg.apache.sqoop.export.text.dump_data_on_error=true ${sqoop_connect_param_oneline} --export-dir