字节、字符、编码
目录
今天和伙计萌一起写JSP的时候，应用到了修改编码，所以自己也总结一下这个原理，参考了很多写的不错的文章。
可能很多编程的伙伴萌学到了，tomcat 和 JSP(java server page)
这里先引出几个常见的英文:
- charset英文释义就是字符集 ,是服务器把生成的html发布给客户端时的编码，可以任意指定
- pageEncoding:JSP文件本身的编码方式
- GBK（GBK即“国标”、“扩展”汉语拼音的首字母）: 全称《汉字内码扩展规范》
- UTF-8:针对Unicode的一种可变长度字符编码。
一、字节概念
字节（Byte ）是计算机用于计量存储容量的一种计量单位，作为一个单位来处理的一个二进制数字串，是构成信息的一个小单位。最常用的字节是八位的字节，即八位的二进制数。
比如:11110000(2),这个八位的二进制数在计算机中代表占用了一个字节。
二、字符概念
字符和字节要区别开，字符指类字形单位或符号: 字母、数字、运算符号、标点符号和其他符号，以及一些功能性符号。
比如: 1 、+ & ?%、我 等都是字符
不同的编码导致一个字符所占的内存不同
GBK中一个中文占两个字节(即16位二进制) 而 UTF-8中则占三个字节(24位二进制)
三、编码规范（编码方案）
随计算机的发展，不同地区语言文字的需要，工程师们希望在计算机中显示字符，但计算机只能识别0和1组成的的二进制数，于是编码规范被扩展出来。
例如: ASCII编码规范，计算机通过规范可以将我们常用的字符和二进制之间相互转换。
GBK编码规范，计算机可以通过这套规范，在中文和二进制之间相互转换。
我们识别字符，计算机识别二进制。
1.字库表
像我们的大字典一样，每一页的第几行作为一个地址，对应一个值。
一套编码规范不一定能包含世界上所有字符，每套编码规范都有自己的使用场景。而字库表就存储了编码规范中能显示的所有字符，计算机就是根据二进制数从字库表中找到字符然后显示给用户滴，相当于一个存储字符的数据库。
比如: 所有汉字都保存在GBK 编码规范的字库表中。所以可以显示汉字，但法语，俄语并不在其字库表中，所以GBK不能显示法语，俄语等不包含在其中的字符。
2.编码字符集（常说的字符集）
在一个字库表中，每一个字符都有一个对应的二进制地址，而编码字符集就是这些地址的集合。
例：在ASCII码的编码字符集中，字母A的序号（地址）是65，65的二进制就是01000001。我们可以说编码字符集就是用来存储这些二进制数的。而这个二进制数就是编码字符集中的一个元素，同时它也是字库表中字母A的地址。我们根据这个地址就可以显示出字母A。
3.字符编码（编码方式）
有了字库表和编码字符集的概念，我们就可以直接使用二进制地址来得到字符了。
但直接使用字符对应的二进制地址来显示文字是十分浪费内存的，Unicode 编码规范中包括了几百万个字符，想要包括几百万个不同的字符，起码需要3个字节的容量，为了方便将来扩展，Unicode还保留了更多未使用的空间，最多可以存储4个字节的容量。
如果为了区分每个字符，00000000 00000000 00000000 00001111这种其实只占了1个字节的字符，我们要为他分配4个字节的空间，这就导致一个1G大小的文件，需要4G才能保存，很明显浪费了不少空间。
于是程序员制定了一套算法来节省空间，而每种不同的算法都被称作一种编码方式（下文中为了便于理解都将使用编码方式来称呼字符编码）。一套编码规范可以有多种不同的编码方式，不同的编码方式有不同的适应场景。
例如：UTF-8就是一种编码方式，Unicode是一种编码规范。此外，Unicode还有UTF-16,UTF-32这两种编码方式。不同的编码方式规则不同，节约的空间也不同。
总结：一个较短的二进制数，通过一种编码方式，转换成编码字符集中正常的地址，然后在字库表中找到一个对应的字符，最终显示给用户。
四、常见编码规范(编码方案)介绍
1.ASCII码
(American Standard Code for Information Interchange): 美国信息交换标准代码。
共包含128个字符即二进制的:00000000~011111111.可以表示阿拉伯数字和大小写英文字母，以及一些简单的符号。
2.GBK
GBK全称《汉字内码扩展规范》，支持国际标准ISO/IEC10646-1和国家标准GB13000-1中的全部中日韩汉字。GBK字符集中所有字符占2个字节，不论中文英文都是2个字节。 没有特殊的编码方式，习惯称呼GBK 编码。
3.Unicode
从以上几种编码规范可以看出，各种编码规范互不兼容，且只能表示自己需要的字符，于是，国际标准化组织（ISO）决定制定一套全世界通用的编码规范，这就是Unicode。 Unicode包含了全世界所有的字符。Unicode最多可以保存4个字节容量的字符。但是要区分每个字符，每个字符的地址需要4个字节。这是十分浪费存储空间的，于是，程序员就设计了几种字符编码方式，比如：UTF-8,UTF-16,UTF-32。 最广为程序员使用的就是UTF-8，UTF-8是一种变长字符编码，注意：UTF-8不是编码规范，而是编码方式。
UTF-8编码规则如下:
编码规则表
| Unicode 十六进制码点范围 | UTF-8 二进制 |
|---|---|
| 0000 0000 ~ 0000 007F | 0xxxxxxx |
| 0000 0080 ~ 0000 07FF | 110xxxxx 10xxxxxx |
| 0000 0800 ~ 0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx |
| 0001 0000 ~ 0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx |
如上表所示，对于只需要1个字节的字符，UTF-8采用ASCII码的编码方式，最高位补0来表示。
例如：01000001我们就是用01000001来表示，对于一个字节的字符，其实就是直接使用地址表示。
而对于n个字节的字符（n>1），即大于一个字节的字符，采用第一个字节前n位补1。第n+1位填0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的unicode码。
例如：汉字严的Unicode码是4E25转换成二进制就是01001110 00100101共15位，根据上表可知使用UTF-8字符编码后占3个字节，因此前3位是1，第4位（n+1位）是0，后面两个字节中每个字节的前两位都是10,即1110 xxxx 10 xxxxxx 10xxxxxx。填充进去后就变成了1110 0100 10 111000 10 100101共计24位占3个字节。
由此可见，英文在UTF-8字符编码后只占1个字节，中文占了3个字节。 虽然UTF-8编码没有GBK编码占的空间小，但他胜在面向全世界，至于使用哪一种编码还是取决于具体的使用环境。
关于英文占一个字节，中文占三个字节的验证:
import java.io.UnsupportedEncodingException;
public class Main {
public static void main(String[] args) throws UnsupportedEncodingException {
//英文
String usa = "x";
encodeAndDecode(usa);
//中文
String chinese="何";
encodeAndDecode(chinese);
}
public static void encodeAndDecode(String init) throws UnsupportedEncodingException {
byte[] bts = init.getBytes("UTF-8");
System.out.print("字符'"+init+"'进行编码得到的三个字节值:");
for (byte bt : bts)
System.out.print(bt+" ");
System.out.println("\n解码检验******************");
//解码
String init_utf8 = new String(bts,"UTF-8");
System.out.println(init_utf8+"\n");
}
}
运行结果如下
字符'x'进行编码得到的三个字节值:120 解码检验 x 字符'何'进行编码得到的三个字节值:-28 -67 -107 解码检验 何
参考:
