通过sqoop将hdfs数据导入MySQL

简介:Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。

 

一、查看hdfs数据查看,参考 

[root@hadoop001 opt]# hadoop fs -text emp.txt /data/emp.txt
1250    yangyamei       doctor
1251    zhangzhenxing   doctor
1261    zhangjun        nurse
1265    Bob     doctor
2000    spark   nurse

 

参考:https://www.cnblogs.com/iloverain/p/8809950.html

二、MySQL数据库创建接收数据的空表emp_demo

mysql> select * from emp_demo;
Empty set (0.00 sec)

//表结构

mysql> desc emp_demo;
+----------+--------------+------+-----+---------+-------+
| Field    | Type         | Null | Key | Default | Extra |
+----------+--------------+------+-----+---------+-------+
| EMP_NO   | int(11)      | YES  |     | NULL    |       |
| EMP_NAME | varchar(255) | YES  |     | NULL    |       |
| Job      | varchar(255) | YES  |     | NULL    |       |
+----------+--------------+------+-----+---------+-------+

三、开始导出数据到MySQL

sqoop export \
--connect jdbc:mysql://hadoop001:3306/sqoop \
--username root \
--password 123456 \
--table emp_demo \
--export-dir /data/emp.txt \
-m 1 \
--verbose \
--fields-terminated-by '\t'

–table 指定MySQL接收数据的表 
–export-dir 指定从HDFS那个路径下导出数据 
–verbose 打印更多信息 
–fields-terminated-by ‘\t’ 指定分隔符为\t 记住必须指定分隔符否则报错

四、查看数据是否已经进入

mysql> select * from emp_demo;
+--------+---------------+--------+
| EMP_NO | EMP_NAME      | Job    |
+--------+---------------+--------+
|   1250 | yangyamei     | doctor |
|   1251 | zhangzhenxing | doctor |
|   1261 | zhangjun      | nurse  |
|   1265 | Bob           | doctor |
|   2000 | spark         | nurse  |
+--------+---------------+--------+

 工作总结:

1.查询表

./sqoop list-tables --connect jdbc:mysql://192.168.5.129:3306/hadoop --username root --password 111111

2.hdfs导出到mysql中

sqoop export --connect jdbc:mysql://192.168.5.129:3306/hadoop --table emp_demo --username root --password 111111 --export-dir /opt/hadoop/hive/ --input-fields-terminated-by '\t'
sqoop export --connect jdbc:mysql://192.168.5.129:3306/hadoop --table emp_demo --username root --password 111111 --export-dir /user/hive/warehouse/emp --input-fields-terminated-by '\t'

 

3.mysql导入到hdfs中

sqoop import --connect jdbc:mysql://192.168.5.129:3306/hadoop --username root --password 111111 --table emp_demo --fields-terminated-by '\t' -m 1

 4.导入报错

18/08/11 11:56:34 WARN hdfs.DataStreamer: Excluding datanode DatanodeInfoWithStorage[192.168.5.132:50010,DS-f3e2c26c-28a0-4226-b768-cf1585d38ba5,DISK]

 关闭防火墙

 5.将数据文件上传至hdfs

hadoop fs -put <local file or dir> <hdfs dir>    --hdfs dir 一定要存在,否则命令不会执行

 

6.sqoop定位数据行数

-Dorg.apache.sqoop.export.text.dump_data_on_error=true

参考:https://blog.csdn.net/qq_20064245/article/details/78352973

sqoop export -Dorg.apache.sqoop.export.text.dump_data_on_error=true ${sqoop_connect_param_oneline} --export-dir

 

本文版权归作者所有,转载请注明出处http://www.cnblogs.com/iloverain/.未经作者同意必须保留此段声明,否则保留追究法律责任的权利.
posted @ 2018-07-12 12:10  Code~Rush  阅读(1241)  评论(0编辑  收藏  举报