摘要： Mahalanobis距离就是MVN中的指数部分中的距离项，MVN用其度量x与mean之间的距离，用来影响概率密度p(x)。实际上该距离就是将两个高维空间中的点(x和mean)之间的欧氏距离进行了扩展，扩展到其中一个点（x here）是随机变量的情况。且将x各维度之间的相关性考虑进去，当x各维度之间彼此独立时该距离退化成欧氏距离。Regression解决的实际上是寻找两个随机变量之间联系的问题。即，有两个随机变量x和y，两者之间有所关联，但又不能完全确定，因为有随机性（因此没必要也不应该试图将给定的(x,y) pairs完全拟合）。因此给定x我们并不能完全确定y，而只能推知p(y|x)，我们希 阅读全文

摘要： 来自PRML的1.6 一个随机变量可以取多个值，每取一个值相当于发生了一个event，不同event发生后产生的信息量不同，这个信息量应该如何度量呢？ 首先，信息量应该与这件事发生的概率有关，越小概率的事情发生了产生的信息量越大，如地震了；越大概率的事情发生了产生的信息量越小，如太阳从东边升起来了。因此一个event的信息量应该是随着其发生概率而递减的，且不能为负。 其次，两个独立event... 阅读全文