digdeep

凡是过去,皆是序幕。Read the fucking manual and source code.

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

使用mysql的 load data 导入数据到 数据库中:

LOAD DATA LOCAL INFILE '/tmp/2982/20200424/user.csv' 
INTO TABLE t_user CHARACTER SET utf8mb4 FIELDS TERMINATED BY ',' 
LINES TERMINATED BY '\r\n' 
IGNORE 1 LINES 
(userName, userNo, age, homeAddr)  
SET province = '浙江省', city='杭州市', creatorId=2982, createTime='2020-04-24 13:24:24'

有时会报错:Invalid utf8mb4 character string: ''

baidu和google了一下:

percona有一篇文章:https://www.percona.com/blog/2016/07/05/mysql-5-7-utf8mb4-and-the-load-data-infile/

里面介绍的方式是指定编码: character set latin1 ,但是需要修改表结构,不理想。

最后解决方法是使用 Commons CSV 把 user.csv一行一行的读取,重新格式化生成一个新的 csv文件,然后指定编码:character set utf8mb4 .

因为我们本来是使用 jdbc 来调用 load data 命令,所以顺手用java把格式非法的CSV文件重新格式化生成一个新的CSV文件:

 

 搞定!

 

posted on 2020-04-24 17:00  digdeep  阅读(7800)  评论(0编辑  收藏  举报
不懂数据库和Web安全的架构师不是一个好的程序员。