轩窗尘清

摘要： 无约束极小值的最优化条件： 关于多元函数极小值点的必要条件： 满足的点称之为f(x)的驻点或稳定点，但是反过来，满足梯度条件的点不一定是f(x)的局部极小值。因此，定理转化为求解下面的方程组问题： 对于上面的线性方程组，利用解析法（如高斯消元法、矩阵三角分解法等）可以较方便求解，但是遗憾的是，f(x 阅读全文

摘要： 在“无监督学习”（ps：有x无y类型的数据）中，训练样本的标记信息是未知的，目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律，为进一步得到数据分析提供基础。这类学习任务中研究最多、应用最广的是“聚类”。聚类试图将数据集中的样本划分若干个通常是不相交的子集，每个子集称之为一个簇。通过这样的划 阅读全文

摘要： 贝叶斯决策论：是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。 1. 贝叶斯优化目标： 样本x上的“条件风险”为： 我们的任务是寻找一个判定准则h：X——Y以最小化总体风险： 显然，对每个样本x，若h能 阅读全文

摘要： 支持向量机（Support Vector machine, SVM)，本章节说明如何构建SVM的最优化模型-最优间隔分类器。首先先引入两个间隔定义来衡量预测的置信度。 1. 函数间隔 引入函数间隔来描述预测的可靠性。我们从现在开始，本考虑二元分类时，输出值的可取值{-1,1}。 当wTx+b ≥ 0 阅读全文

摘要： 线性模型是机器学习中最简单的，最基础的模型结果，常常被应用于分类、回归等学习任务中。 回归和分类区别： 回归：预测值是一个连续的实数； 分类：预测值是离散的类别数据。 1. 线性模型做回归任务中 线性回归方法，常见的损失函数是均方误差，其目标是最小化损失函数。以下是均方误差表达式： 那么基于均方误差 阅读全文