摘要：降噪：存在一个未知的损坏过程，该过程可以根据输入的正确样例生成损坏样例。而降噪就是对抗该未知的损坏过程用的，它根据损坏过程得到的损坏样例反过来预测出正确的样例。 密度估计或者概率分布函数估计：描述为模型相比别的任务隐式地捕捉样本结构，密度估计需要显式地知道样本的结构，还需要知道样本簇在哪里集中，在哪 阅读全文

摘要：GBDT全称Gradient-boosting decision tree，即用gradient boosting策略训练出来的决策树模型。模型的结果是一组CART树（回归分类树）的组合$T_1, ..., T_K$，其中**$T_j$学习的是之前$j-1$棵树预测结果的残差**。 这种思想就像准备 阅读全文

摘要：性质 判别模型 分类模型 模型 \[ P(Y=1|x) = \frac{e^{w \cdot x}}{1+e^{w \cdot x}}\\ P(Y=0|x)=\frac{1}{1+e^{w \cdot x}} \] 损失函数 最大似然估计 \[ \begin{aligned} L(w) & = \p 阅读全文

摘要：参数估计(Parameter Estimate)就是通过一系列算法，来求出模型的最优参数。在各个机器学习深度学习的框架里，都变成了optimizer的活了。 其实这个名字很奇怪，但是在比较早的机器学习论文里都是这么叫的，我们重点来关注下里面涉及的一些算法。 这里主要关注的是 最小二乘法 梯度下降 牛 阅读全文