摘要：ML 和 MAP ML: argmax(p , p(x | p)) 。其中x是样本。如果参数p先验等概，于是根据Bayesian定理ML和MAP等价。 ML的方差低估(bias)： 对Gaussian的参数计算ML，得到方差为sML = 1/N * sum(i, xi - uML)2 展开计算可得E 阅读全文

摘要：$4.4中有一个比较容易混淆的问题：即4.4.2和4.4.3，出现以下概念：1. Perceptron Training Rule2. Delta Rule其中最后的形式都是根据预测误差对输入网络的权重进行一个类似负反馈的调整，因而给人造成错觉，似乎两者是同一的。但是，文中清楚说明了他们的区别，即能否适用于线性不可分（Linearly Separable）网络。个人理解：首先，前者是对多个样本逐个进行计算（即基于iteration）。从直观上讲，它的确需要样本具有很强的甚至严格的线性可分性，并且学习系数（learning rate）也足够小，才能较为理想地地收敛到目标值；而后者在对全部样本集合 阅读全文