摘要：一 综述 坐标下降法属于一种非梯度优化的方法，它在每步迭代中沿一个坐标的方向进行搜索，通过循环使用不同的坐标方法来达到目标函数的局部极小值。 二 算法过程 假设目标函数是求解$f(x)$的极小值，其中$x=(x_1,x_2,\ldots,x_n)$是一个n维的向量，我们从初始点$x^0$开始($x^ 阅读全文

摘要：一 综述 由于逻辑回归和朴素贝叶斯分类器都采用了极大似然法进行参数估计，所以它们会被经常用来对比。(另一对经常做对比的是逻辑回归和SVM，因为它们都是通过建立一个超平面来实现分类的)本文主要介绍这两种分类器的相同点和不同点。 二.两者的不同点 1.两者比较明显的不同之处在于，逻辑回归属于判别式模型， 阅读全文

摘要：关于极大似然估计的基本介绍，本文不再详细叙述(可参考：周志华——《机器学习》P149，陈希孺——《概率论与数理统计》P150 和其他资料)。文章的主要内容是我对极大似然估计的一些见解和我认为应该需要注意的一些点。以下是正文： 一.极大似然估计的简述 假设总体满足某种分布，且该分布的参数为(θ1,θ2 阅读全文

摘要：一.引言 给定一个数据集，划分方式一般有两种： 1.把整个数据集划分成训练集和测试集。 2.把整个数据集划分成为训练集、验证集和测试集(一般的比例是6:2:2，参考NG《ML》)。其中训练集用于训练出模型的参数(除超参数外的惨呼)，验证集用于模型优化，即寻找最优的超参数，测试集用于评估最终模型的泛化 阅读全文

摘要：一. 简介 首先来看百度百科对最小二乘法的介绍：最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量 阅读全文

摘要：(原创文章，转载请注明地址:http://www.cnblogs.com/wangkundentisy/p/6762925.html ) 一 前置知识 拉格朗日乘子法是一种寻找多元函数在一组约束下的极值方法，通过引入拉格朗日乘子，可将有m个变量和n个约束条件的最优化问题转化为具有m+n个变量的无约束 阅读全文

摘要：(原创文章，转载请注明地址:http://www.cnblogs.com/wangkundentisy/p/6539058.html ) 1.t分布式统计分布的一种，同卡方分布(χ2分布)、F分布并称为三大分布。 2. t分布又叫student-t分布，常常用于根据小样本来估计呈正态分布且方差值为知 阅读全文

摘要：在NG的ML课程中和西瓜书中都有提到：最佳的数据分类情况是把数据集分为三部分，分别为：训练集(train set)，验证集(validation set)和测试集(test set)。那么，验证集和测试集有什么区别呢？ 实际上，两者的主要区别是：验证集用于进一步确定模型中的超参数(例如正则项系数、A 阅读全文

摘要：实际上，代价函数(cost function)和损失函数(loss function 亦称为 error function)是同义的。它们都是事先定义一个假设函数（hypothesis），通过训练集由算法找出一个最优拟合，即通过使的cost function值最小(如通过梯度下降)，从而估计出假设函 阅读全文