mysql数据迁移：Incorrect string value: \xE7 for column

mysql数据迁移：Incorrect string value: '\xE7' for column'

问题描述

在从hive数据仓库向mysql共享数据库迁移数据时，迁移流程出现了ERROR 1366的错误
ERROR 1366 (HY000) at line 1: Incorrect string value: '\\xE7' for column
系统环境：

• Hive3.1.0
• Mysql5.7.28

问题原因

\xE7是Unicode字符串的UTF-8编码，这是一种特殊字符串，是4bytes的，而UTF-8在Mysql中是3bytes的，所以导致字符串无效。

解决方法

1. 将表的字符集设置为utf8mb4，排序规则设置为utf8mb4_unicode_ci
   ALTER TABLE tbname DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
2. 将对应字段的字符集设置为utf8mb4，排序规则设置为utf8mb4_unicode_ci

参考

https://stackoverflow.com/questions/62043858/incorrect-string-value-xf2-xb8-x80-xa0-xe6-x88

---

个人博客：http://datasheep.info
CSDN：https://blog.csdn.net/qq_36369061
个人公众号：【DataSheep杨】