摘要:
回忆多元线性回归算法:多元线性回归的构造实质上是将输入特征X进行加权运算,即y=a0+a1x1+a2x2+a3x3+…+apxp = a0+sum(ai*xi) (其中、i=1~p) AdaBoost算法【自适应增强算法】 提升树算法与线性回归模型的思想类似,所不同的是该算法实现了多颗基础决策树f( 阅读全文
摘要:
由于计算一般线性回归的时候,其计算方法是: p = (X’* X)**(-1) * X’ * y 很多时候 矩阵(X’* X)是不可逆的,所以回归系数p也就无法求解, 需要转换思路和方法求解:加2范数的最小二乘拟合(岭回归) 岭回归模型的系数表达式: p = (X’ * X )**(-1) *X’ 阅读全文
摘要:
线性回归模型属于经典的统计学模型,是根据已知的自变量来预测某个连续的数值因变量。她属于有监督的学习算法,也就是在建模过程中需要同时具备自变量x和因变量y。 1.、一元线性回归模型 一元线性回归模型是入门算法,是指变量中只含有一个自变量和一个因变量,用来建模的数据可以表示为{(x1,y1)…(xn,y 阅读全文