摘要:
在机器学习算法(如二叉树)、特征选择(互信息)中经常用到熵的概念,信息熵的概念以及介绍网上有很多,这里主要做一个直观的介绍。 1. 信息的度量 2. 信息熵 一、 信息量 常常把消息中有意义的内容成为信息。我们常常说,某人说的某句话信息量很大,具体在信息论中,其实指的是他说的这句话消除的不确定性多。 阅读全文
posted @ 2017-05-16 22:39
詹晴天
阅读(1548)
评论(0)
推荐(0)
|
摘要:
在机器学习算法(如二叉树)、特征选择(互信息)中经常用到熵的概念,信息熵的概念以及介绍网上有很多,这里主要做一个直观的介绍。 1. 信息的度量 2. 信息熵 一、 信息量 常常把消息中有意义的内容成为信息。我们常常说,某人说的某句话信息量很大,具体在信息论中,其实指的是他说的这句话消除的不确定性多。 阅读全文
posted @ 2017-05-16 22:39
詹晴天
阅读(1548)
评论(0)
推荐(0)
摘要:
在机器学习算法(如二叉树)、特征选择(互信息)中经常用到熵的概念,信息熵的概念以及介绍网上有很多,这里主要做一个直观的介绍。 1. 信息的度量 2. 信息熵 一、 信息量 常常把消息中有意义的内容成为信息。我们常常说,某人说的某句话信息量很大,具体在信息论中,其实指的是他说的这句话消除的不确定性多。 阅读全文
posted @ 2017-05-16 22:37
詹晴天
阅读(100)
评论(0)
推荐(0)
|