sqoop import其它参数

 

sqoop import 数据类型指定：

        sqoop预先对sql的数据类型做了对应的java类型和hive类型转换，但是这个预操作对用户而言，有时候不一定就是对的，用户可以使用以下指令对出现意外的类型进行手动指定

Argument	Description
--map-column-java <mapping>	Override mapping from SQL to Java type for configured columns. 转换为java类型
--map-column-hive <mapping>	Override mapping from SQL to Hive type for configured columns. 转换为hive类型

$ sqoop import ... --map-column-java id=String,value=Integer

 

大数据对象的处理

    在导入大对象，比如BLOB和CLOB列时需要特殊处理，小于16MB的大对象可以和别的数据一起存储，超过这个值就存储在_lobs的子目录当中

　　它们采用的是为大对象做过优化的存储格式，最大能存储2^63字节的数据，我们可以用--inline-lob-limit参数来指定每个lob文件最大的限制是多少

　　如果设置为0，则大对象使用外部存储

 

 

 

 

 

指定数据导入格式：

Argument	Description
--enclosed-by <char>	Sets a required field enclosing character 给字段值前后加上指定的字符
--escaped-by <char>	Sets the escape character 对字段中的双引号加转义字符
--fields-terminated-by <char>	Sets the field separator character 设定每个字段是以什么符号作为结束，默认为逗号
--lines-terminated-by <char>	Sets the end-of-line character 设定每行记录之间的分隔符，默认是\n
--mysql-delimiters	Uses MySQL’s default delimiter set: fields: , lines: \n escaped-by: \ optionally-enclosed-by: ' Mysql默认的分隔符设置，字段之间以逗号分隔，行之间以\n分隔，默认转移符是是\，字段值以单引号包裹
--optionally-enclosed-by <char>	Sets a field enclosing character 给带有双引号或单引号的字段值前后加上指定字符