摘要：L0、L1与L2范数、核范数 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法，如果理解存在... 阅读全文

摘要：这是很早以前已经看过的，最近无意中又把保存的文章翻出来时，想起很多朋友问过矩阵，虽对矩阵似懂非懂，但却很想弄懂它，希望这几篇文章能帮你一下，故转之：（一）前不久chensh出于不可告人的目的，要充当老师，教别人线性代数。于是我被揪住就线性代数中一些务虚性的问题与他讨论了几次。很明显，chensh觉得... 阅读全文

摘要：对于优化问题： 的求解需要计算这个内积，而如果输入样本线性不可分的话，我们采取的方法是通过函数映射将输入样本映射到另外一个高维空间并使其线性可分。 以库克定律为例(http://zh.wikipedia.org/zh-cn/%E9%9D%99%E7%94%B5%E5%8A%9B)： 一个电量为的点电荷作用于另一个电量为的点电荷，其静电力的大小，可以用方程表达为: ，其中，是两个点电荷之间的距离，是库仑常数。 显然这个定律无法用线性学习器来表达，看到乘积想到ln函数，对原始形式两边取ln，得到： ，令，，，，，那么就得到一个线性学习器： 这个过程... 阅读全文

摘要：LILEI&HANMEIMEI的隐式马尔可夫爱情男生和女生分别是来自不同星球的科学事实已经众所周知的了.男生们总是认为,女生们都是迷一 样的生物,他们的情感状态浮动似乎是以秒单位在变化的,难以理解,更勿论预测了! 而女生们觉得男生都是没有感觉动物,完全不能理解什么叫感受-尽管已经告诉他们N次了! 这种男女之间的根本差别,导致了他们之间的感情关系是受一种超级无敌复杂的系统所支配的. 不过,我们可以用一个叫隐式马尔可夫(Hidden Markov Model)的数学模型来分析这个系统.决定性系统 首先我们来看看一种最简单的预测系统 - 决定性系统. 在这个系统中,如果我们知道我们目前所在的 阅读全文

摘要：拉格朗日对偶（Lagrange duality） 存在等式约束的极值问题求法，比如下面的最优化问题： 目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为 L是等式约束的个数。 然后分别对w和求偏导，使得偏导数等于0，然后解出w和。至于为什么引入拉格朗日算子可以求出极值，原因... 阅读全文