jihite

摘要： 缘起在自然语言处理过程中，全角、半角的的不一致会导致信息抽取不一致，因此需要统一。转换说明全角半角转换说明有规律（不含空格）：全角字符unicode编码从65281~65374 （十六进制 0xFF01 ~ 0xFF5E）半角字符unicode编码从33~126 （十六进制 0x21~ 0x7E）特例：空格比较特殊，全角为 12288（0x3000），半角为 32（0x20）除空格外，全角/半角按unicode编码排序在顺序上是对应的（半角 + 0x7e= 全角）,所以可以直接通过用+-法来处理非空格数据，对空格单独处理。注：1. 中文文字永远是全角，只有英文字母、数字键、符号键才有全角半角的 阅读全文