摘要：
XGBoost算法是由GBDT算法演变出来的，GBDT算法在求解最优化问题的时候应用了一阶导技术，而XGBoost则使用损失函数的一阶导和二阶导，不但如此， 还可以自己定义损失函数，自己定义损失函数前提是损失函数可一阶导和二阶导。 XGBoost算法原理:(务必保证先学习决策树算法) 其实算法的原理 阅读全文
摘要：
梯度提升树算法实际上是提升算法的扩展版，在原始的提升算法中，如果损失函数为平方损失或者指数损失，求解损失函数的最小值问题会非常简单， 但如果损失函数为更一般的函数(如绝对值函数)，目标值的求解就会相对复杂许多。 所以，梯度提升算法诞生，也就是在第m轮基础模型中，利用损失函数的负梯度值作为该轮基础模型 阅读全文
摘要：
回忆多元线性回归算法：多元线性回归的构造实质上是将输入特征X进行加权运算，即y=a0+a1x1+a2x2+a3x3+…+apxp = a0+sum(ai*xi) (其中、i=1~p) AdaBoost算法【自适应增强算法】 提升树算法与线性回归模型的思想类似，所不同的是该算法实现了多颗基础决策树f( 阅读全文
摘要：
由于计算一般线性回归的时候，其计算方法是： p = (X’* X)**(-1) * X’ * y 很多时候 矩阵(X’* X)是不可逆的，所以回归系数p也就无法求解， 需要转换思路和方法求解：加2范数的最小二乘拟合（岭回归） 岭回归模型的系数表达式： p = (X’ * X )**(-1) *X’ 阅读全文
摘要：
线性回归模型属于经典的统计学模型，是根据已知的自变量来预测某个连续的数值因变量。她属于有监督的学习算法，也就是在建模过程中需要同时具备自变量x和因变量y。 1.、一元线性回归模型 一元线性回归模型是入门算法，是指变量中只含有一个自变量和一个因变量，用来建模的数据可以表示为{(x1,y1)…(xn,y 阅读全文