python基础之字符编码

　计算机要想工作必须通电,即用‘电’驱使计算机干活,也就是说‘电’的特性决定了计算机的特性。电的特性即高低电平(人类从逻辑上将二进制数1对应高电平,二进制数0对应低电平)，关于磁盘的磁特性也是同样的道理。结论：计算机只认识数字

　　很明显，我们平时在使用计算机时，用的都是人类能读懂的字符（用高级语言编程的结果也无非是在文件内写了一堆字符），如何能让计算机读懂人类的字符？

　　必须经过一个过程：
　　#字符--------（翻译过程）------->数字 

　　#这个过程实际就是一个字符如何对应一个特定数字的标准，这个标准称之为字符编码

说到字符编码，首先要知道字节与字符的关系
字节：
字节(Byte /bait/ n. [C])是计算机信息技术用于计量存储容量的一种计量单位，通常情况下一字节等于有八位（即是八位二进制数），
 也表示一些计算机编程语言中的数据类型和语言字符

换算

折叠字符与字节

ASCII码:一个英文字母(不分大小写)占一个字节的空间，一个中文汉字占两个字节的空间。一个二进制数字序列，在计算机中作为一个数字单元，一般为8位二进制数，换算为十进制。最小值-128，最大值127。如一个ASCII码就是一个字节。

UTF-8编码:一个英文字符等于一个字节，一个中文(含繁体)等于三个字节。中文标点占三个字节，英文标点占一个字节

Unicode编码:一个英文等于两个字节，一个中文(含繁体)等于两个字节。中文标点占两个字节，英文标点占两个字节

编码的种类情况

• ASCII 占1个字节，只支持英文
• GB2312 占2个字节，支持6700+汉字
• GBK GB2312的升级版，支持21000+汉字
• Shift-JIS 日本字符
• ks_c_5601-1987 韩国编码
• TIS-620 泰国编码

由于每个国家都有自己的字符，所以其对应关系也涵盖了自己国家的字符，但是以上编码都存在局限性，即：仅涵盖本国字符，无其他国家字符的对应关系。应运而生出现了万国码，他涵盖了全球所有的文字和二进制的对应关系，

Unicode 2-4字节 已经收录136690个字符，并还在一直不断扩张中...

• Unicode 起到了2个作用：

1. 直接支持全球所有语言，每个国家都可以不用再使用自己之前的旧编码了，用unicode就可以了。(就跟英语是全球统一语言一样)
2. unicode包含了跟全球所有国家编码的映射关系，为什么呢？后面再讲

Unicode解决了字符和二进制的对应关系，但是使用unicode表示一个字符，太浪费空间。例如：利用unicode表示“Python”需要12个字节才能表示，比原来ASCII表示增加了1倍。

由于计算机的内存比较大，并且字符串在内容中表示时也不会特别大，所以内容可以使用unicode来处理，但是存储和网络传输时一般数据都会非常多，那么增加1倍将是无法容忍的！！！

为了解决存储和网络传输的问题，出现了Unicode Transformation Format，学术名UTF，即：对unicode中的进行转换，以便于在存储和网络传输时可以节省空间!

UTF-8： 使用1、2、3、4个字节表示所有字符；优先使用1个字符、无法满足则使增加一个字节，最多4个字节。英文占1个字节、欧洲语系占2个、东亚占3个，其它及特殊字符占4个(于是产生了UTF-8（可变长，全称Unicode Transformation Format），对英文字符只用1Bytes表示，对中文字符用3Bytes，对其他生僻字用更多的Bytes去存)

 

• UTF-16： 使用2、4个字节表示所有字符；优先使用2个字节，否则使用4个字节表示。
• UTF-32： 使用4个字节表示所有字符；

总结：UTF 是为unicode编码 设计 的一种 在存储 和传输时节省空间的编码方案。

无论以什么编码在内存里显示字符，存到硬盘上都是2进制。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

ascii编码(美国)：     l   0b1101100     o   0b1101111     v   0b1110110     e   0b1100101 GBK编码(中国)：     老   0b11000000 0b11001111     男   0b11000100 0b11010000     孩   0b10111010 0b10100010   Shift_JIS编码(日本)：     私   0b10001110 0b10000100     は   0b10000010 0b11001101   ks_c_5601-1987编码(韩国)：     나   0b10110011 0b10101010     는   0b10110100 0b11000010       TIS-620编码(泰国)：     ฉัน  0b10101001 0b11010001 0b10111001 ...

1	要注意的是，存到硬盘上时是以何种编码存的，再从硬盘上读出来时，就必须以何种编码读，要不然就乱了。。