Python机器学习算法之线性回归

1.假设银行贷款，工资和年龄决定了你的贷款额度。这时候我们就需要找到工资，年龄和额度之间的关联。

 

 

2.  在x，y，z轴中我们要找到一个拟合面，使得x，y，z的值尽可能的在拟合面上。

x1表示工资，x2表示年龄。θ1表示工资的参数，θ2表示年龄的参数，θ0 表示偏执项。

 

3.由上面公式可以得出：

 

 

4.误差定义：真实值和预测值存在差异。ξ表示误差。

每一个样本用公式表示：

 

独立表示的是：甲乙两个人去银行贷款，两者都没有关系。同分布表示的是：甲和乙都去同一个银行贷款。

 

5.似然函数：公式比较多，要详细看一下，最好手动推导一下。

5.1预测值与误差：

 

5.2误差服从高斯分布：

 

将5.1带入到5.2中得到：

 

由此得到似然函数：

 

根据样本估计参数，有数据找到参数接近真实值。

求得对数似然：

 

 

 

 

 

设A= 

 

B=  

 

让似然函数越大越好，A为常数项，所以B越小越好。

 

是一个常数项，所以求

 

的值。

 

用最小二乘法求：

求偏导：

 

 

 

得到偏导值令偏导为0，即可求得θ的值：

 

。