摘要：首先，对于“受多个因素影响会产生两种结果“的这类问题，我们想要训练一种模型，通过这种模型能够实现任意输入一个n维向量，可以输出该类问题是哪一类。 对于上述的情况，我们可以考虑采用逻辑回归的思想来解决。 逻辑回归是输入一个n维向量，通过加权求和，经过激活函数的“打包”，综合得出一个“概率值”，根据该“ 阅读全文

摘要：上一篇已经介绍过逻辑回归和牛顿法了，这篇就不重述了，直接介绍下拟牛顿法。 拟牛顿法的出现意义在于简化牛顿法的计算，主要在于通过迭代近似出牛顿法的分母海森矩阵，那么具体是如何迭代近似的呢？ 经过k+1次迭代后的xk+1,将f（x）在xk+1处做泰勒展开有，取二阶近似有： 两边同时加一个梯度算子有： 整 阅读全文

摘要：逻辑回归是2分类的，softmax可以拓展为多分类,softmax求解过程基本上与逻辑回归的求解过程类似，所以学过逻辑回归的话，softmax会很好理解，具体过程如下; softmax的h（x）为： softmax的代价函数为： 在实际应用中，为了使算法实现更简单清楚，我们需要对代价函数做一个改动： 阅读全文