11 2010 档案
Netlab -Chap8 抽样（1）蒙特卡罗积分
摘要：概率和统计中常常利用积分计算概率和期望。利用蒙特卡罗积分，可以将这一过程反转，从而实现利用期望去计算积分。 例如已知随机变量X满足条件 ，求 的步骤如下： 1）从分布p(x)中抽取独立样本 2）计算样本均值 3）估计统计误差：当样本独立时，方差＝ 4）那么 上面的方法很简单，但它最大的问题是误差减少的量级 ，非常慢。 阅读全文
posted @ 2010-11-24 13:59 Tony Ma 阅读(287) 评论(0) 推荐(0)
NNPR-Chap10 贝叶斯技术（3）分类
摘要：考虑两类问题。数据的似然函数为 （1），G是交叉熵误差函数 选择logistic sigmoid为输出激励函数 ， 。这种激励函数可将网络输出解释为x属于类的概率 。 然后同前面一样，贝叶斯框架下对分类问题处理步骤也是三步： 1）权重先验：基于正则化项 引入网络权重先验 2）权重的后验：基于1）可推出 ，同样可以通过中心在 的单高斯分布近似 （2） 3）输出的分布：x属于类C1的概率通过... 阅读全文
posted @ 2010-11-18 16:16 Tony Ma 阅读(604) 评论(0) 推荐(0)
NNPR-Chap1 统计模式识别（10）风险最小化
摘要：错分概率最小化原则并不适用于所有问题。像前面介绍的判断医学图像是否为癌症的例子，将癌症图像判定为正常带来的后果远远大于将正常图像误分为癌症。 为此，引入损失矩阵（loss matrix），其元素 代表将类j误分为类k时的惩罚。 从而有，某类的期望损失 　　　 总的期望损失 （2） 当式2中被积函数在每个点上都取最小值时，总的期望损失最小（即风险最小）。其实，这就相当于将某个区域归为第j类，若 1... 阅读全文
posted @ 2010-11-18 12:25 Tony Ma 阅读(368) 评论(2) 推荐(0)
NNPR-Chap1 统计模式识别（9）决策边界
摘要：当满足下面条件时将特征向量x付给类Ck时错分概率最小 （1） 由于边缘概率P(x)与类无关，因此上式转为 （2） 上面的操作就好像将特征空间划分成许多决策区域 ，当特性向量录入区域 时，则将其非给类 。这些区域无需是连续的。这些区域间的边界就是决策边界，或称为决策面。 下面通过单维特征空间两类问题来说明如何确定最佳决策面，示意图如下 图.1 错分发生在将一个新数据归为C1，而其实际类别为C2（对... 阅读全文
posted @ 2010-11-18 12:25 Tony Ma 阅读(1365) 评论(0) 推荐(0)
机械原来这么奇妙！（转）
摘要：生活中一些活塞运动的有趣原理示意图 阅读全文
posted @ 2010-11-18 12:20 Tony Ma 阅读(293) 评论(0) 推荐(0)
Kullback–Leibler divergence KL散度（转）
摘要：转自http://www.cppblog.com/sosi/archive/2010/10/16/130127.aspx In probability theory and information theory, the Kullback–Leibler divergence[1][2][3] (also information divergence,information gain,... 阅读全文
posted @ 2010-11-17 15:29 Tony Ma 阅读(3508) 评论(0) 推荐(0)
NNPR-Chap1 统计模式识别（8）贝叶斯准则
摘要：这里聊聊统计模式识别中的基本概念。首先，考虑字符识别的问题（图1），目标是最小化错分概率。当收集大量数据（如图像）之后，可以算出某字符图像所占的比例，且这个玩意可以表示为先验概率 。 当我们猜一个图像（未看到图像）对应字符时，如果，一般会将其归为类 对应的字符。这会最小化误分概率，基本我们知道会存在错分的情况。 图1进一步，将图像转换为特征变量 （字符高度与宽度比值），这会给分类决策带来更多信息... 阅读全文
posted @ 2010-11-17 15:25 Tony Ma 阅读(554) 评论(0) 推荐(1)
NNPR-Chap10 贝叶斯技术（2）模型输出的分布
摘要：在贝叶斯框架中，一个完成训练的神经网络是通过其权重的后验概率来表达的。当给网络一个输入数据时，权重分布产生网络输出的分布。同时，对输为的所做的高斯噪声假定也会影响网络输出的分布。这里，通过前面介绍的单高斯近似来计算输出的分布。输出的分布为 ，p(w|D)是权重的后验概率分布，p(t|x,w)是在给定权重时目标数据的噪声的概率分布要计算上面的分布，需要利用两个东东：1）权重后验概率分布:前面介绍过通... 阅读全文
posted @ 2010-11-09 15:40 Tony Ma 阅读(649) 评论(0) 推荐(0)
NNPR－Appendix B Gaussian Integrals（高斯积分）
摘要：1.单变量单变量积分： 要完成上面积分，可通过考虑积分的平方，并转换到极坐标系（ ， ）来巧妙实现 得 （1）2.多变量积分W维的高斯积分，A是W*W维的实对称阵，w是W维的向量： （2）直接对上式积分是非常困难的，因为它涉及到对整个权重空间（有可能维数很高）进行积分。这时，就像我们解决负责问题时总是将其分解为小的易解决的小问题一样，利用Appdendix A 中矩阵分解的思想（注意，这里... 阅读全文
posted @ 2010-11-05 16:24 Tony Ma 阅读(1159) 评论(0) 推荐(0)
NNPR－Appendeix A Symmetric Matrices（对称阵）
摘要：在机器学习中，矩阵分析，尤其是实对称阵是经常用到的，例如：1）Hessian Matrices：其元素是误差函数对网络权重的二阶导数2）Convariance Matrices：高斯分布的协方差阵对称阵的特点是 1.Eigenvector equation对称阵的eigenvector equation （1）它是一系列的线性代数方程，写成矩阵形式 （2）D是对角阵，且其对角元素正是A的特征值... 阅读全文
posted @ 2010-11-05 14:48 Tony Ma 阅读(561) 评论(0) 推荐(0)
NNPR-Chap10 贝叶斯技术（1）利用贝叶斯方法学习神经网络权重
摘要：这里虽然探讨ANN的权重贝叶斯学习，我们完全可以将其看做是任意模型的参数学习问题。最大似然（误差最小）获得网络权重的一个解（一个权重向量）。而贝叶斯方法考虑的权重空间（即权重的整个解空间上许多解）上权重的概率分布，通过先验概论表达不同权重值的相对置信度。当越来越多的数据观测到，权重的后验概率会逐渐集中到权重空间的局部上。1.权重的分布对结构确定的神经网络，其权重 在未给定任何数据时的先验概率为 ；... 阅读全文
posted @ 2010-11-03 15:13 Tony Ma 阅读(4368) 评论(0) 推荐(0)