摘要：在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签 可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的，该问题的目的是辨识10个不同的单个数字。Softmax回归是有监督的，不过 后面也会介绍 阅读全文

摘要：学习了理论知识后，做一个简单的练习实践一下。 下图是经过PCA降维之后的，降二维降维至一维。 下面是数据集： 阅读全文

摘要：主成分分析（PCA）是一种能够极大提升无监督特征学习速度的数据降维算法。更重要的是，理解PCA算法，对实现白化算法有很大的帮助，很多算法都先用白化算法作预处理步骤。 假设你使用图像来训练算法，因为图像中相邻的像素高度相关，输入数据是有一定冗余的。具体来说，假如我们正在训练的16x16灰度值图像，记为 阅读全文

摘要：理论知识可参考：《统计学习方法》 （李航 著） 第八章 简单代码实现： 阅读全文

摘要：转自：http://liuhongjiang.github.io/tech/blog/2012/12/26/svm/ 阅读全文

摘要：SMO例子： 下面是测试集 下面是结果： 以上推导内容转自：http://liuhongjiang.github.io/tech/blog/2012/12/28/svm-smo/ 阅读全文

摘要：概述 以监督学习为例，假设我们有训练样本集 ，那么神经网络算法能够提供一种复杂且非线性的假设模型 ，它具有参数 ，可以以此参数来拟合我们的数据。 为了描述神经网络，我们先从最简单的神经网络讲起，这个神经网络仅由一个“神经元”构成，以下即是这个“神经元”的图示： 这个“神经元”是一个以 及截距 为输入 阅读全文

摘要：目前为止，我们已经讨论了神经网络在有监督学习中的应用。在有监督学习中，训练样本是有类别标签的。现在假设我们只有一个没有带类别标签的训练样本集合 ，其中 。自编码神经网络是一种无监督学习算法，它使用了反向传播算法，并让目标值等于输入值，比如 。下图是一个自编码神经网络的示例。 自编码神经网络尝试学习一 阅读全文

摘要：在机器学习中，无论是分类还是回归，都可能存在由于特征过多而导致的过拟合问题。当然解决的办法有 （1）减少特征，留取最重要的特征。 （2）惩罚不重要的特征的权重。 但是通常情况下，我们不知道应该惩罚哪些特征的权重取值。通过正则化方法可以防止过拟合，提高泛化能力。 先来看看L2正则化方法。对于之前梯度下 阅读全文

摘要：正则化方法：防止过拟合，提高泛化能力 在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进 行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练 阅读全文

摘要：Gamma分布即为多个独立且相同分布（iid）的指数分布变量的和的分布。（最新修改，希望能够行文布局更有逻辑）——————泊松过程——————指数分布和泊松分布的关系十分密切，是统计学中应用极大的两种分布。其中泊松过程是一个显著应用。泊松过程是一个计数过程，通常用于模拟一个（非连续）事件在连续时间中 阅读全文

摘要：我是搬运工：http://my.oschina.net/wangguolongnk/blog/111353 支持向量机的原理很简单，就是VC维理论和最小化结构风险。在阅读相关论文的时候，发现很多文 章都语焉不详，就连《A Tutorial on Support Vector Machines for 阅读全文

摘要：我是搬运工：http://my.oschina.net/wangguolongnk/blog/111349 1. 支持向量机的目的是什么？ 对于用于分类的支持向量机来说，给定一个包含正例和反例（正样本点和负样本点）的样本集合，支持向量机的目的是寻找一个超平面来对样本进行分割，把样本中的正例和反例用超 阅读全文