摘要：1）数据由一行变成两行，导致输出到Hive表数据缺失。 处理：在源头上处理下字段内容，将空格,\n等一些特殊字符处理掉 TRIM(BOTH FROM replace(o.refund_reason,'\n','')) as refund_reason 阅读全文

摘要：mysql数据库里面的字段是 tinyint 类型通过sqoop 抓取出来的数据在HDFS 上面显示的true、false解决办法：jdbc会把tinyint 认为是java.sql.Types.BIT，然后sqoop就会转为Boolean了在连接上加上一句话tinyInt1isBit=falsej 阅读全文

摘要：说明:使用shell脚本增量调度至hive表。 操作步骤 1、使用sqoop蒋mysql数据调度到hive临时表tmp_bst_bas_dy_orders 2、将临时表中的数据覆盖写如hive对应分区内 临时表数据未压缩，以传统txt方式存取，hive表采用orc压缩，均为外部表，按年月日进行分区。 阅读全文

摘要：1）从mysql中导入数据至hdfs指定目录 sqoop import --connect jdbc:mysql://${db_ip}:${db_port}/${db_database}?serverTimezone=Asia/Shanghai --username ${db_user} --pas 阅读全文