线性回归的改进—岭回归

线性回归的改进—岭回归

• 带有L2正则化的线性回归-岭回归
• API
• 正则化程度对结果的影响
• 波士顿房价预测

带有L2正则化的线性回归-岭回归

岭回归，其实也是一种线性回归。只不过在算法建立回归方程时候，加上正则化的限制，从而达到解决过拟合的效果。

API

• sklearn.linear_model.Ridge(alpha=1.0,fit_intercept=True,solver="auto", normalize=False)
  • 具有L2正则化的线性回归
  • alpha:正则化力度，也叫入
  • 入取值：0~1, 1~10
  • solver:会根据数据自动选择优化方法
    • sag:如果数据集、特征都比较大，选择该随机梯度下降优化
  • normalize:数据是否进行标准化
    • normalize=False：可以在fit之前调用preprocessing.StandardScaler标准化数据
  • Ridge.coef_:回归权重
  • Ridge.intercept_:回归偏置

Ridge方法相当于SGDRegressor(penalty='l2',loss="squared_loss")，只不过SGDRegressor实现了一个普通的随机梯度下降学习，推荐使用Ridge(实现了SAG)

• sklearn.linear_model.RidgeCV(_BaseRidgeCV, RegressorMixin)
  • 具有l2正则化的线性回归，可以进行交叉验证
  • coef_：回归系数

class _BaseRidgeCV(LinearModel):
	def ___init__(self, alphas=(0.1， 1.0,10.0)，
        fit_intercept=True, normalize=False, scoring=None,
        cv=None, gcv_mode=None,store_cv_values=False):

正则化程度对结果的影响

• 正则化力度越大，权重系数越小
• 正则化力度越小，权重系数越大

波士顿房价预测

from  sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import Ridge
from sklearn.metrics import mean_squared_error

if __name__ == '__main__':
    # 获取数据
    boston = load_boston()

    # 划分数据
    x_train, x_test, y_train, y_test = train_test_split(boston.data, boston.target, random_state=22)

    # 标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.fit_transform(x_test)  # 控制变量, 用同样的参数进行标准化

    # 预估器
    estimator = Ridge(alpha=0.5, max_iter=10000)
    estimator.fit(x_train, y_train)

    # 得出模型
    print('岭回归——权重系数为：\n', estimator.coef_)
    print('岭回归——偏重为：\n', estimator.intercept_)

    # 模型评估
    y_predict = estimator.predict(x_test)
    print('预测房价：\n', y_predict)
    error = mean_squared_error(y_test, y_predict)
    print('岭回归——均方误差为：\n', error)