摘要: 一、概念 互信息,Mutual Information,缩写为MI,表示两个变量X与Y是否有关系,以及关系的强弱,或者说是X与Y的相关性。 如果 (X, Y) ~ p(x, y), X, Y 之间的互信息 I(X; Y)定义为: Note: 互信息 I (X; Y)可为正、负或0。 互信息实际上是更 阅读全文
posted @ 2018-12-05 20:32 小时候挺菜 阅读(2859) 评论(0) 推荐(1)
摘要: 1 信息熵以及引出条件熵 我们首先知道信息熵是考虑该随机变量的所有可能取值,即所有可能发生事件所带来的信息量的期望。公式如下: 我们的条件熵的定义是:定义为X给定条件下,Y的条件概率分布的熵对X的数学期望 这个还是比较抽象,下面我们解释一下: 设有随机变量(X,Y),其联合概率分布为 条件熵H(Y| 阅读全文
posted @ 2018-12-05 20:13 小时候挺菜 阅读(1069) 评论(0) 推荐(0)
摘要: 一、通俗解释 熵是衡量“信息量“大小的一个数值。什么叫”信息量“?举个例子。 假设你现在玩一个猜硬币正反面的游戏,有个人扔一次硬币,你猜正反面,猜对了可以拿100块钱,猜错了就没有钱。 现在有一个能预知未来的人,他知道本次抛硬币的结果,并且他愿意告诉你,只要你给他一定数量的钱。 那么在如下四种情况下 阅读全文
posted @ 2018-12-05 13:00 小时候挺菜 阅读(6510) 评论(0) 推荐(0)
摘要: 一、先看一下教科书上的定义:设A是n阶方阵,如果存在常数及非零n向量x,使得,则称是矩阵A的特征值,x是A属于特征值的特征向量。给定n阶矩阵A,行列式 的结果是关于的一个多项式,成为矩阵A的特征多项式,该特征多项式构成的方程称为矩阵A的特征方程。 定理:n阶矩阵A的n个特征值就是其特征方程的n个跟; 阅读全文
posted @ 2018-12-05 10:27 小时候挺菜 阅读(1335) 评论(0) 推荐(0)
摘要: 转自:http://mini.eastday.com/bdmip/180328092726628.html# 定义: 对于给定矩阵A,寻找一个常数λ(可以为复数)和非零向量x,使得向量x被矩阵A作用后所得的向量Ax与原向量x平行,并且满足Ax=λx。 2 特征值和特征向量的几何意义 看到硬生生的定义 阅读全文
posted @ 2018-12-05 10:24 小时候挺菜 阅读(13071) 评论(0) 推荐(2)
摘要: 转自:https://blog.csdn.net/fuming2021118535/article/details/51339881 在刚开始学的特征值和特征向量的时候只是知道了定义和式子,并没有理解其内在的含义和应用,这段时间整理了相关的内容,跟大家分享一下; 首先我们先把特征值和特征向量的定义复 阅读全文
posted @ 2018-12-05 10:22 小时候挺菜 阅读(1540) 评论(0) 推荐(1)
摘要: 转自:https://blog.csdn.net/fuming2021118535/article/details/51339881 在刚开始学的特征值和特征向量的时候只是知道了定义和式子,并没有理解其内在的含义和应用,这段时间整理了相关的内容,跟大家分享一下; 首先我们先把特征值和特征向量的定义复 阅读全文
posted @ 2018-12-05 10:21 小时候挺菜 阅读(1064) 评论(0) 推荐(0)