【Teradata SQL】区分最后一位是否为截断的中文汉字字节

1.问题描述

英文字母、数字、英文标点为单个字节，但汉字为2个字节或多个字节。在加载汉字时可能因为目标表字段定义长度不足，造成汉字被截断。现在需要识别这种被截断的字节。

2.解决原理

ASCII码的ASCII值小于128，汉字编码有多个兼容标准，不同编码有不同标准。如果是GBK编码这两个字节必须都大于0xa0，如果是UNICODE编码这2个字节都必须大于128。 

可以截取字符串，判断当前字节的ASCII值是否小于128即可。

create multiset table aaa ,no fallback(
col1 varchar(1)  character set  latin not null
,col2 varchar(5) character set  latin not null
) no primary index;

insert into aaa values('?','a中a文');

sel ascii(substr(col2,1,1)),ascii(substr(col2,2,1)),ascii(substr(col2,3,1)),ascii(substr(col2,4,1)),ascii(substr(col2,5,1))  from aaa;

 

 参考文档：

判断字符串的某个字节是ascii还是汉字