摘要： 考虑两类问题。数据的似然函数为 （1），G是交叉熵误差函数 选择logistic sigmoid为输出激励函数 ， 。这种激励函数可将网络输出解释为x属于类的概率 。 然后同前面一样，贝叶斯框架下对分类问题处理步骤也是三步： 1）权重先验：基于正则化项 引入网络权重先验 2）权重的后验：基于1）可推出 ，同样可以通过中心在 的单高斯分布近似 （2） 3）输出的分布：x属于类C1的概率通过... 阅读全文

摘要： 当满足下面条件时将特征向量x付给类Ck时错分概率最小 （1） 由于边缘概率P(x)与类无关，因此上式转为 （2） 上面的操作就好像将特征空间划分成许多决策区域 ，当特性向量录入区域 时，则将其非给类 。这些区域无需是连续的。这些区域间的边界就是决策边界，或称为决策面。 下面通过单维特征空间两类问题来说明如何确定最佳决策面，示意图如下 图.1 错分发生在将一个新数据归为C1，而其实际类别为C2（对... 阅读全文

摘要： 错分概率最小化原则并不适用于所有问题。像前面介绍的判断医学图像是否为癌症的例子，将癌症图像判定为正常带来的后果远远大于将正常图像误分为癌症。 为此，引入损失矩阵（loss matrix），其元素 代表将类j误分为类k时的惩罚。 从而有，某类的期望损失 　　　 总的期望损失 （2） 当式2中被积函数在每个点上都取最小值时，总的期望损失最小（即风险最小）。其实，这就相当于将某个区域归为第j类，若 1... 阅读全文

摘要： 生活中一些活塞运动的有趣原理示意图 阅读全文