python3对文件编码的转换处理
前言:
公司同事邀我一起给SQLSERVER 2008导数, 数据来源有高斯和ORACLE, 数据文件保存格式有UTF-8和GBK。
当我在做测试导入的时候发现SQLSERVER 2008数据库的WITH选项不支持CODEPAGE='65001', 即UTF-8文件编码格式导入。 所以需要把UTF-8编码的文件
统一转换成GBK, 代码如下。
示例一:
#!/usr/bin/python3 # -*- coding: utf-8 -*- # python fileConv source_file dest_file import os, sys import chardet source_file = sys.argv[1] # 源文件 dest_file = sys.argv[2] # 转后的目标文件 # 确定源文件字符编码 for row in open(source_file, 'rb'): tmp = chardet.detect(row) language = tmp.get("encoding") if language.upper == 'UTF-8': charset = "UTF-8" else: charset = "GB18030" break # 将文件转换成GBK编码 with open(dest_file, 'w', encoding="GB18030") as fp: for row in open(source_file,'r', encoding=charset): fp.write(row)
在转换生产数据的时候还算好用, 但有些字符还是无法很好的识别, 导致转换失败。
在网上又看到了一个专门用来编码转换的包:codecs, 用法大同小异
示例二:
#!/usr/bin/python3 # -*- coding: utf-8 -*- # python fileConv source_file dest_file import os, sys import chardet import codecs source_file = sys.argv[1] # 源文件 dest_file = sys.argv[2] # 转后的目标文件 # 确定源文件字符编码 for row in open(source_file, 'rb'): tmp = chardet.detect(row) language = tmp.get("language") if language == 'Chinese': charset = "GB18030" else: charset = "UTF-8" break # 将文件转换成GBK编码 fp = codecs.open(dest_file, 'w', encoding="GB18030") # 中文编码写入 for row in codecs.open(source_file, 'r', encoding=charset): # 指定编码读 fp.write(row)
fp.close()
知识小记:
通过 Unicode 编码来进行不同编码之间的相互转化
1、不同的编码之间不能互相识别,不能相互转化,会报错或出现乱码
2、国际通用标准:文字通过网络传输、或硬盘存储等不能使用 Unicode 编码方式,因为 Unicode 使用的是升级版 32 位的,太费流量和空间
3、在 Python3 版本中,唯独 string 在内存中的编码方式是 Unicode,所以字符串不能直接进行网络传输及进行文件的存储
4、bytes:也是一种数据类型,不是字节,与 string 类型就像是孪生兄弟
5、为啥要有 bytes ?—— bytes 内部编码不是 Unicode 方式,因此可以进行网络传输和文件的存储
6、不同编码之间相互转化都需要先变成unicode编码, encode编码, decode解码
示例:
s1 = "中国" b=s1.encode("gbk") s2 = b.decode("gbk") s3=u"中国" print(s1) print(b) print(s2) print(s1==s2==s3) 结果 : 中国 b'\xd6\xd0\xb9\xfa' 中国 True
在python3版本中, 字符串的编码方式就是Unicode, 所以中国==u"中国"
各系统的默认编码方式
WINDOWS: GBK
LINUX: UTF-8
IOS: UTF-8
示例:
# windows下生成的文件打开方式 with open(r"d:\test.txt") as fp: print(fp.read()) # linux下生成文件的打开方式 with open(r"d:\test.txt", encoding="utf-8") as fp: print(fp.read())
如果encoding不对, 打开内容是乱码