交叉熵 KL散度

信息熵=\(-\sum p_i\log p_i\)
交叉熵(p,q)=\(-\sum p_i\log q_i\)
KL散度=交叉熵-信息熵，大于等于0。