python3对文件编码的转换处理

  前言:

  公司同事邀我一起给SQLSERVER 2008导数, 数据来源有高斯和ORACLE, 数据文件保存格式有UTF-8和GBK。

  当我在做测试导入的时候发现SQLSERVER 2008数据库的WITH选项不支持CODEPAGE='65001', 即UTF-8文件编码格式导入。 所以需要把UTF-8编码的文件

统一转换成GBK, 代码如下。

 示例一:

#!/usr/bin/python3
# -*- coding: utf-8 -*-
# python fileConv source_file dest_file
import os, sys
import chardet

source_file = sys.argv[1]  # 源文件
dest_file = sys.argv[2] # 转后的目标文件

# 确定源文件字符编码
for row in  open(source_file, 'rb'):
    tmp = chardet.detect(row)
    language = tmp.get("encoding")
    if language.upper == 'UTF-8':
        charset = "UTF-8"
    else:
        charset = "GB18030"
    break

# 将文件转换成GBK编码
with open(dest_file, 'w', encoding="GB18030") as fp:
    for row in open(source_file,'r', encoding=charset):
        fp.write(row)

  

  在转换生产数据的时候还算好用, 但有些字符还是无法很好的识别, 导致转换失败。

 

在网上又看到了一个专门用来编码转换的包:codecs, 用法大同小异

示例二:

#!/usr/bin/python3
# -*- coding: utf-8 -*-
# python fileConv source_file dest_file
import os, sys
import chardet
import codecs

source_file = sys.argv[1]  # 源文件
dest_file = sys.argv[2] # 转后的目标文件

# 确定源文件字符编码
for row in  open(source_file, 'rb'):
    tmp = chardet.detect(row)
    language = tmp.get("language")
    if language == 'Chinese':
        charset = "GB18030"
    else:
        charset = "UTF-8"
    break

# 将文件转换成GBK编码
fp = codecs.open(dest_file, 'w', encoding="GB18030") # 中文编码写入
for row in codecs.open(source_file, 'r', encoding=charset): # 指定编码读
    fp.write(row)
fp.close()

  

 

知识小记:

 

通过 Unicode 编码来进行不同编码之间的相互转化

1、不同的编码之间不能互相识别,不能相互转化,会报错或出现乱码

2、国际通用标准:文字通过网络传输、或硬盘存储等不能使用 Unicode 编码方式,因为 Unicode 使用的是升级版 32 位的,太费流量和空间

3、在 Python3 版本中,唯独 string 在内存中的编码方式是 Unicode,所以字符串不能直接进行网络传输及进行文件的存储

4、bytes:也是一种数据类型,不是字节,与 string 类型就像是孪生兄弟

5、为啥要有 bytes ?—— bytes 内部编码不是 Unicode 方式,因此可以进行网络传输和文件的存储

6、不同编码之间相互转化都需要先变成unicode编码, encode编码, decode解码

示例:

s1 = "中国"
b=s1.encode("gbk")
s2 = b.decode("gbk")
s3=u"中国"
 
print(s1)
print(b)
print(s2)
print(s1==s2==s3)
 
结果 :
 
中国
b'\xd6\xd0\xb9\xfa'
中国
True

  

在python3版本中, 字符串的编码方式就是Unicode, 所以中国==u"中国"

 

各系统的默认编码方式

  WINDOWS: GBK

  LINUX: UTF-8

  IOS: UTF-8

示例:

# windows下生成的文件打开方式
with open(r"d:\test.txt") as fp:
    print(fp.read())
 
 
# linux下生成文件的打开方式
with open(r"d:\test.txt", encoding="utf-8") as fp:
    print(fp.read())

  如果encoding不对, 打开内容是乱码

 

posted on 2020-11-23 11:22  孔扎根  阅读(1054)  评论(0编辑  收藏  举报

导航