逻辑回归

        逻辑回归 (LR) 是分类的重要方法之一. 标准逻辑回归使用输入变量的系数加权线性组合来分类.相较于支持向量机, 自某一给定的类上, 标准逻辑回归能给出相应的类分布估计, 并且在模型训练时间上也占很大优势. 此外, 标准逻辑回归比支持向量机更容易扩展到多类分类. 美中不足的是, 标准逻辑回归是线性的分类器.将核函数与标准逻辑回归相结合衍生出的核逻辑回归 (KLR) , 与 SVM 有着类似的损失函数.通过使用总体精度矩阵, KLR 往往能实现与 SVM类似, 甚至更好的分类性能, 并且支持概率类型结果输出. 但是 KLR 不能作为二次规划问题拟定, 需要解无约束的优化问题, 从而需要非线性的迭代优化算法, 如 Newton 和 Quasi-Newton 算法. 由于计算每次迭代的梯度代价高, 所以核逻辑回归的算法复杂度非常高.