字符集编码详解不懂你来砍我
一、概念简介
二进制数：计算机底层都是通过二进制进行传输和存储的，用bit表示，简称b；
字 节：在信息系统中，我们通常将八个二进制数作为一个字节，字节是信息传输中最小单位，用byte表示，简称B，1byte=8bit；
字 符：类字形单位或符号，包括字母、数字、运算符号、标点符号和其他符号，以及一些功能性符号；
字 符 集：顾名思义字符的集合，经过历史的演变，字符集经历了ASCII字符集、GB2312字符集、GBK字符集、Unicode字符集等等；
编 码：字符集是字符的集合，只维护着符号对应着字符的关系，需要通过编码转换成字节（二进制）进行传输、存储；每种字符集有相对应的编码方式；
二、字符集详解
1）ASCII字符集
这个大家应该都很熟悉，在纯英文的环境中，只需要128个字符就可以描述所有信息，即一个字节，其中8位二进制的最高位为0，空置不用。
2）GBK字符集
随着信息网络的发展，每个国家都有自己的字符集，用1个或多个字节表示一个字符。中文字符集也经历了GB2312 -> GBK -> GB18030，他们都兼容了ASCII字符集。
3）Unicode字符集
由于不同国家有自己的一套字符集，如果需要读取其他国家的文件，需要装载对应的环境，这极大增加了沟通的流畅性及成本。介于此，就有了统一的字符集Unicode，世界上所有的字符都汇集在unicode字符集中，每个字符都有独一无二的code与之对应。在简介时，也说到每个字符集都有自己的编码方式，对于ASCII字符集、GBK字符集他们的编码方式就是ASCII，GBK编码。但是对于unicode字符集有utf-8、utf-16、utf-32编码，后面我们会重点介绍utf-8编码。
三、编码详解
我们先来看下一段代码
package com.xuhui;
import java.io.UnsupportedEncodingException;
/**
* Created by xuhui on 2019/10/11
*/
public class EncodeOperation {
public static void main(String[] args) throws UnsupportedEncodingException {
String str1 = "a";
printEncode(str1);
String str2 = "国";
printEncode(str2);
}
public static void printEncode(String str) throws UnsupportedEncodingException {
System.out.println("str = " + str);
ASCII(str);
GBK(str);
UNICODE(str);
UTF8(str);
UTF16(str);
UTF32(str);
System.out.println("-------------------------------------------");
}
public static void ASCII(String str) throws UnsupportedEncodingException {
byte[] bytes = str.getBytes("ASCII");
printHex("ASCII", bytes);
}
public static void GBK(String str) throws UnsupportedEncodingException {
byte[] bytes = str.getBytes("GBK");
printHex("GBK", bytes);
}
public static void UNICODE(String str) throws UnsupportedEncodingException {
byte[] bytes = str.getBytes("UNICODE");
printHex("UNICODE", bytes);
}
public static void UTF8(String str) throws UnsupportedEncodingException {
byte[] bytes = str.getBytes("UTF8");
printHex("UTF8", bytes);
}
public static void UTF16(String str) throws UnsupportedEncodingException {
byte[] bytes = str.getBytes("UTF16");
printHex("UTF16", bytes);
}
public static void UTF32(String str) throws UnsupportedEncodingException {
byte[] bytes = str.getBytes("UTF32");
printHex("UTF32", bytes);
}
public static void printHex(String head, byte[] bytes) {
if (bytes.length <= 0) {
return;
}
StringBuilder sb = new StringBuilder();
for (byte b : bytes) {
sb.append(Integer.toHexString(b & 0xff));
}
System.out.println(head + " -> " + sb.toString());
}
}
输出结果
str = a
ASCII -> 61
GBK -> 61
UNICODE -> feff061
UTF8 -> 61
UTF16 -> feff061
UTF32 -> 00061
-------------------------------------------
str = 国
ASCII -> 3f
GBK -> b9fa
UNICODE -> feff56fd
UTF8 -> e59bbd
UTF16 -> feff56fd
UTF32 -> 0056fd
-------------------------------------------
很多人看完输出结果可能已经明白了一切。
1）常见的字符集都兼容ASCII字符集，也就是说，当为ASCII中的字符时，所有编码的最后一个字节与ASCII编码的字节一致；
2）现在大家都知道了unicode可以表示所有的字符，那么直接用UNICODE编码大家都不用争了，也不会出现乱码问题，但是UNICODE编码是固定4个字节，我们也看到了当输入字符为'a'时，也是4个字节。那么当存储纯英文字符串时，所需的空间是ASCII的四倍，这肯定是不能接受的。于是就有了UTF-8，UTF-16，UTF-32编码；
3）UTF-8编码为可变长编码格式，一个字符用1~4个字节存储；UTF-16编码用2~4个字节；UTF-32用4个字节；
4）字符的存储还存在字节序问题，大端：高字节在前，低字节在后；小端：低字节在前，高字节在后；这里就不详细阐述了，之后会单独介绍字节序。eg：如果字符的编码格式为0xabcd，若存储结果为ab cd则成为大端存储，若存储结果为cd ab则为小端存储；
四、UTF-8编码详解
我们以最为常用的UTF-8编码演示中文字符存储：'国'如何变成0xe59bbd字节存储。
1）unicode与utf-8的关系
utf-8编码是unicode字符集的其中一种编码格式。每个字符在unicode字符集中都对应中唯一的一个数字，用4个字节（8位16进制）表示。由于utf-8编码的字节是可变的，对于英文字符1个字节存储，中文一般由3个字节存储；但如何区分，哪几个字节属于这个字符。于是就有了以下的规则：
对于单字节的符号，字节的第一位置0，后面7位为这个符号的Unicode码。因此，对于英语字母，UTF-8编码和ASCII码是相同的。
对于n个字节的字符（n>1）,第一个字节的前n位都置为1，第n+1位置为0，后面字节的前两位一律置为10。剩下的没有提及的二进制位，全部为这个符号的Unicode码。
2）演变
字符 国
unicode符号 \u56fd
二进制 0101011011111101
UTF-8编码 11100101 10011011 10111101
转换成16进制 e5 9b bd
