Sqoop-简单实用案例(二)导出数据

Posted on 2020-04-17 09:46  MissRong  阅读(656)  评论(0)    收藏  举报

导出数据

在Sqoop中,“导出”概念指:从大数据集群(HDFS,HIVE,HBASE)向非大数据集群(RDBMS)中传输数据,叫做:导出,即使用export关键字。

HIVE/HDFSRDBMS

 

MySQL数据库里创建student2表

Mysql可视化界面找查询--》复制粘贴下面的命令行--》运行即可生成新的表格student2

create table student2(id int(20),name VARCHAR(255));

注意:采用可视化创建表的话,会自动带主键-这样会使同主键名的数据加载不上,数据加载不会成功的~ 因此要将主键去掉!

 接下来在hive数据库里创建表源-student(分隔符一定要相同

 

将Hive数据库里表student的数据加载到MYSQL数据库的表student2里。

$ bin/sqoop export \

--connect "jdbc:mysql://bigdata111:3306/test?useUnicode=true&characterEncoding=utf-8" \

--username root \

--password 000000 \

--export-dir /user/hive/warehouse111/student \

--table student2 \

--num-mappers 1 \

--input-fields-terminated-by "\t"

                       

尖叫提示:

(1)Mysql中如果表不存在,不会自动创建,自行根据表结构创建

(2)重复往mysql的统一个表中导出数据,mysql的表不能设置主键和自增。

(3)如果数据导出mysql中是“??”那么添加characterEncoding=utf-8

(4)当数据里有中文时,应该添加characterEncoding=utf-8 并将jdbc那行引住。

思考:数据是覆盖还是追加 ---- 答案:追加

 

博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3