摘要：Libsvm是实现了SVM算法的一个开源工具包(http://www.csie.ntu.edu.tw/~cjlin/libsvm/)，我最近有一个实验要用到自定义核函数的Libsvm，其中网上有不少的matlab版本的使用自定义核函数矩阵的方法例如：http://www.shamoxia.com/html/y2011/3003.html。但是Java和C++版本与matlab有所区别。而且Libsvm最新的版本才加上多分类的解决方案。故我采用了Java版本的自定义核函数方法。 对于自定义核函数，libsvm中称为：Precomputed Kernels。其中的例子如下： Assume the. 阅读全文

摘要：最大后验估计是根据经验数据获得对难以观察的量的点估计。与最大似然估计类似，但是最大的不同时，最大后验估计的融入了要估计量的先验分布在其中。故最大后验估计可以看做规则化的最大似然估计。 首先，我们回顾上篇文章中的最大似然估计，假设x为独立同分布的采样，θ为模型参数,f为我们所使用的模型。那么最大似然估计可以表示为： 现在，假设θ的先验分布为g。通过贝叶斯理论，对于&theta... 阅读全文

摘要：最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。简单而言，假设我们要统计全国人口的身高，首先假设这个身高服从服从正态分布，但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高，但是可以通过采样，获取部分人的身高，然后通过最大似然估计来获取上述假设中的正态分布的均值与方差。 最大似然估计中采样需满足一个很重要的假设，就是所有... 阅读全文

摘要：判别式模型该模型主要对p(y|x)建模，通过x来预测y。在建模的过程中不需要关注联合概率分布。只关心如何优化p(y|x)使得数据可分。通常，判别式模型在分类任务中的表现要好于生成式模型。但判别模型建模过程中通常为有监督的，而且难以被扩展成无监督的。　　常见的判别式模型有：　　　　Logistic regression　　　　Linear discriminant analysis　　　　Suppo... 阅读全文