摘要：先简单说一下关于信息熵的东西：信息熵是信息多少的量度，一个事件所携带的信息量跟它出现的概率反相关，直观上来说，一个事件出现的越频繁则每次该事件出现时携带的信息就少，反之如果一个事件非常少见，则该事件出现的时候携带的信息量就非常高。具体公式是：$$I= -log(p)$$ 也就是$$I=log(p/1... 阅读全文