摘要: 熵是物理学中的概念,是指系统混沌状态的一种量化指标。熵的大小与系统混沌程度正相关,也就是系统越混沌,熵值越大,反之,亦然。信息熵表征信息不确性的指标。与信息的不确定性相关,信息熵越大,信息的不确定性越大。信息熵是怎么计算的?涉及到信息论的内容,也就是信息编码问题。信息要全部表示完,共需多少个编码?或者说需要个二进制位数。香农给出了理论也就是:\[L(x)=log_2(1/p(x))\]L表示所需要... 阅读全文
posted @ 2019-08-10 16:12 khldragon 阅读(1540) 评论(0) 推荐(0) 编辑