摘要： 算法导论1、动态规划动态规划与递归有些神似，适用场景不同而已。关于动态规划，《算法导论》上给出好几个例子，第一个就是装配线调度问题，抽象成如下形式：递归的出口在j=1处，需要求解的则是f[1,n]和f[2,n]。上式已经是递归的形式。但实际上，若采用传统的递归方法，计算代价会非常的高，因为的值需要重复的被计算次。下图说明为什么会被重复计算，并且是2的幂指数形式（假设n=3）：从这张图就看的比较清楚了。原因在于，递归每一“层”的结果需要被计算的次数，是上一“层”结果被计算次数的两倍；例如f[2,j-1]要同时被f[1,j]和f[2,j]使用，这一点直接来自递归式。图中第4层的f[2,1]被计算四 阅读全文

摘要： 支持向量机1、与Logistic回归做比较Logistic回归下，模型的优劣准则即是的值；而该值正相关于“样本离的距离”，我们期望距离尽可能大。如图所示。距离已经很远的样本，它们离直线是否再远一点已经meaningless（例如和几乎没区别），而本身距离就很小的样本，使它们离直线再远一点就很有价值。而Logistic回归是简单的将所有样本与的距离相加。这样便可能发生，以很近的样本减小距离为代价，换取远处的样本增加距离。这不科学。支持向量机（SVM）就是因此引出的，它只考虑离分界面（即分界线，高维情况下这是个超平面）最近的样本；如果该样本都可以表现良好，那其它样本更不用说，这样便有理由认为模型很 阅读全文

摘要： 线性回归、Logistic回归、高斯判别分析1、线性回归估计函数为：损失函数（误差函数）为：它用于评估模型即、也就是的优劣。线性关系的表达能力很强大：①特征的每一维对结果影响的强弱，可由系数体现；②特征的每一维可以先映射到一个函数，再参与线性计算，这样就达到了非线性的效果。线性回归下，求解模型等价于使误差函数最小，即。常用方法有最小二乘法&梯度下降&牛顿迭代法。2、梯度下降为何选择“误差的平方和”作为损失函数将误差记作，即。假设符合正态分布，那么向量和结果值的条件概率为：这是样本i的条件概率。我们希望在所有样本上达到最佳预测效果，采用最大似然估计如下：因此，为了使达到最大，必须 阅读全文

摘要： 经验风险最小化、交叉验证、特征选择（提取）1、经验风险最小化经验风险最小化（Empirical Risk Minimization）是机器学习的一个原则，它可以给出学习算法的性能边界。机器学习的目的，就是根据一些训练样本寻找最优函数，使得函数对输入的预测与真实值之间的期望风险（类似于“误差”的概念）最小。期望风险依赖于输入和输出的映射关系，而这个映射却是未知的；我们所掌握的，只有有限的训练样本及其输出。因此很自然的想到，用有限样本的期望值来代替理想的期望值。训练样本已知，因此称作“经验数据”；由它计算出的误差，被称为“经验风险”；通过使经验风险最小来逼近期望风险最小的目标，就是“经验风险最小化 阅读全文

摘要： 1 应用场景1.1现有m条记录，每个记录有n个维度，我们将其记作n×m矩阵（这里略反常。若记作m×n也一样，后面公式稍作变动即可）；每条记录对应一个输出，所有输出形成一个1×m矩阵。我们需要找到一个预测函数（就是一个向量）希望对于任一条记录可以用该预测函数计算出尽可能准确的预测值，即在接下来的表述中，m条记录的下标用i表示，即i∈{1,2,…,m}；n个维度的下标用j表示，即j∈{1,2,…,n}。1.2为了衡量预测函数的误差，定义如下误差函数：我们的目标是2 梯度下降法2.1为了求得预测函数（即向量θ），可以通过以下步骤：(a)为θ赋初始值；(b)以某种方式改变 阅读全文