摘要：看了知乎一篇博文当我们优化损失函数时，我们在优化什么收获良多，对机器学习分类和回归中损失函数和正则项也有了更深的认识。理解了这些，可以加深对逻辑回归，Softmax,线性回归等机器学习方法的理解，知道为什么要这样。现简单总结一下。 贝叶斯公式：$p(x|y)=\frac{p(y|x)p(x)}{p( 阅读全文

摘要：Softmax Regression是逻辑回归在多分类问题上的推广，主要用于处理多分类问题，其中任意两个类别之间都是线性可分的。 假设有$k$个类别，每个类别的参数向量为${\theta}_j $，那么对于每个样本，其所属类别的概率为： \[P({{y}_{i}}|X,{{\theta }_{j}} 阅读全文

摘要：线性回归是最典型的回归问题，其目标值与所有的特征之间存在线性关系。线性回归于逻辑回归类似，不同的是，逻辑回归在线性回归的基础上加了逻辑函数，从而将线性回归的值从实数域映射到了0-1，通过设定阀值，便实现了回归的0-1分类，即二分类。 线性回归函数$Y=XW$，其中Y是1*n维向量，X是n*m矩阵，W 阅读全文

摘要：逻辑回归（Logistics Regression）是广义线性模型中的一种，其取值为0或1，服从伯努利分布。而伯努利家族的正则响应函数就是sigmoid函数，因此逻辑回归为什么选用sigmoid函数的理论原因。同时，sigmoid函数好处有： 1. 将现行分类器的响应值 <w , x> (内积) 映 阅读全文