摘要： 当满足下面条件时将特征向量x付给类Ck时错分概率最小 （1） 由于边缘概率P(x)与类无关，因此上式转为 （2） 上面的操作就好像将特征空间划分成许多决策区域 ，当特性向量录入区域 时，则将其非给类 。这些区域无需是连续的。这些区域间的边界就是决策边界，或称为决策面。 下面通过单维特征空间两类问题来说明如何确定最佳决策面，示意图如下 图.1 错分发生在将一个新数据归为C1，而其实际类别为C2（对... 阅读全文

摘要： 生活中一些活塞运动的有趣原理示意图 阅读全文

摘要： 转自http://www.cppblog.com/sosi/archive/2010/10/16/130127.aspx In probability theory and information theory, the Kullback–Leibler divergence[1][2][3] (also information divergence,information gain,... 阅读全文

摘要： 这里聊聊统计模式识别中的基本概念。首先，考虑字符识别的问题（图1），目标是最小化错分概率。当收集大量数据（如图像）之后，可以算出某字符图像所占的比例，且这个玩意可以表示为先验概率 。 当我们猜一个图像（未看到图像）对应字符时，如果，一般会将其归为类 对应的字符。这会最小化误分概率，基本我们知道会存在错分的情况。 图1进一步，将图像转换为特征变量 （字符高度与宽度比值），这会给分类决策带来更多信息... 阅读全文

摘要： 在贝叶斯框架中，一个完成训练的神经网络是通过其权重的后验概率来表达的。当给网络一个输入数据时，权重分布产生网络输出的分布。同时，对输为的所做的高斯噪声假定也会影响网络输出的分布。这里，通过前面介绍的单高斯近似来计算输出的分布。输出的分布为 ，p(w|D)是权重的后验概率分布，p(t|x,w)是在给定权重时目标数据的噪声的概率分布要计算上面的分布，需要利用两个东东：1）权重后验概率分布:前面介绍过通... 阅读全文

摘要： 1.单变量单变量积分： 要完成上面积分，可通过考虑积分的平方，并转换到极坐标系（ ， ）来巧妙实现 得 （1）2.多变量积分W维的高斯积分，A是W*W维的实对称阵，w是W维的向量： （2）直接对上式积分是非常困难的，因为它涉及到对整个权重空间（有可能维数很高）进行积分。这时，就像我们解决负责问题时总是将其分解为小的易解决的小问题一样，利用Appdendix A 中矩阵分解的思想（注意，这里... 阅读全文

摘要： 在机器学习中，矩阵分析，尤其是实对称阵是经常用到的，例如：1）Hessian Matrices：其元素是误差函数对网络权重的二阶导数2）Convariance Matrices：高斯分布的协方差阵对称阵的特点是 1.Eigenvector equation对称阵的eigenvector equation （1）它是一系列的线性代数方程，写成矩阵形式 （2）D是对角阵，且其对角元素正是A的特征值... 阅读全文

摘要： 这里虽然探讨ANN的权重贝叶斯学习，我们完全可以将其看做是任意模型的参数学习问题。最大似然（误差最小）获得网络权重的一个解（一个权重向量）。而贝叶斯方法考虑的权重空间（即权重的整个解空间上许多解）上权重的概率分布，通过先验概论表达不同权重值的相对置信度。当越来越多的数据观测到，权重的后验概率会逐渐集中到权重空间的局部上。1.权重的分布对结构确定的神经网络，其权重 在未给定任何数据时的先验概率为 ；... 阅读全文

摘要： 虽然该章主要讨论贝叶斯技术（Bayesian Techniques)在Neural Networks中应用，但其内容对与做Machine Learning还是非常有启发的。尤其现在Bayesian Learning，以及Graphical Model在Jordan、Bishop等牛人带领下已经成为Machine Learning主流之一的情况下，通过回归经典文献可以让我了更容易领略其中奥秘。 1... 阅读全文

摘要： GridView 1、控制Cell中数据显示对齐 属性Column.AppearanceCell.TextOptions： HAlignment:水平对齐 VAlignment:垂直对齐 2、控制Cell中数据折叠显示 属性Column.AppearanceCell.TextOptions.WordWrap 3、控制奇数和偶数行显示颜色 属性Gridview.OptionView ... 阅读全文