詹晴天

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2017年5月16日

摘要: 在机器学习算法(如二叉树)、特征选择(互信息)中经常用到熵的概念,信息熵的概念以及介绍网上有很多,这里主要做一个直观的介绍。 1. 信息的度量 2. 信息熵 一、 信息量 常常把消息中有意义的内容成为信息。我们常常说,某人说的某句话信息量很大,具体在信息论中,其实指的是他说的这句话消除的不确定性多。 阅读全文
posted @ 2017-05-16 22:39 詹晴天 阅读(1548) 评论(0) 推荐(0)

摘要: 在机器学习算法(如二叉树)、特征选择(互信息)中经常用到熵的概念,信息熵的概念以及介绍网上有很多,这里主要做一个直观的介绍。 1. 信息的度量 2. 信息熵 一、 信息量 常常把消息中有意义的内容成为信息。我们常常说,某人说的某句话信息量很大,具体在信息论中,其实指的是他说的这句话消除的不确定性多。 阅读全文
posted @ 2017-05-16 22:37 詹晴天 阅读(100) 评论(0) 推荐(0)