【吃瓜日记】第三章 线性模型（1）

1 导论

线性模型是一类统计模型的总称，包括线性回归模型，方差分析模型，协方差分析模型和线性混合效应模型，是统计学中应用最广泛的模型之一。
模型形式：f(x)=W*X+b
样本X，权重W表达各个特征在预测中的重要性
线性是一系列一次特征的线性组合，在二维空间中是一条直线，在三维空间是平面，推到n维空间，理解为广义的线性模型。

• 主要包括岭回归，lasso，逻辑回归，线性判别分析

2 Linear Classification

Linear Classification 是一种假设特征与分类结果存在线性关系的模型。
通过累加每个特征与各自权重的乘积来帮助分类
f(w,x,b)=wTx+b
找到一个决策边界将其划分开，边界形式是线性的形式

括号里的就是决策边界的表达式，我们找一个函数g，将表达式结果作为输入，生成一个预测函数hθ(x)

映射

最简单的二分类问题希望f∈{0,1}
需要一个函数把原来的映射到（0,1）
所以g使用逻辑函数Logistic或称作sigmoid
g(z)=1/1+e-z
其中z=f(w,x,b)
z∈R
g∈(0,1)

3 训练过程

常用步骤

1. 构建模型 lr=linear_model.LinearRegression()
2. 模型训练 lr.fit()
3. 使用模型预测 lr.predict()预测测试样本的类别
4. 模型评估 lr.score()得到R方值
5. 模型评估 用classification_report模块获取其他三个指标结果