机器学习-线性回归算法

机器学习的应用：
模式识别
计算机视觉
数据挖掘
语音识别
统计学习
自然语言处理

机器学习流程：
1、一个机器学习的常规套路
2、数据收集与预处理
3、特征选择与模型构建
4、评估与预测

　　

深度学习

深度学习是机器学习中神经网络算法的延伸，只不过应用的比较广

深度学习在计算机视觉和自然语言处理中更厉害一些

线性回归

分类：特定值

回归：一段连续区间的值

 

 

预测值成为真实值得可能性   越大越好
似然函数--->对数似然；简化运算log(AB)=logA + logB

　　

推导：左边恒正，让右边越小越好，---->整体越大越好

机器学习中，一切模型都转换为 y=x*x类模型

from sklearn import metrics
from sklearn.linear_model import  LinearRegression
import numpy as np 

rng = np.random.RandomState(1)
xtrain = 10 * rng.rand(30)
ytrain = 8 + 4*xtrain + rng.rand(30)*3


# 创建数据
model = LinearRegression()
model.fit(xtrain[:,np.newaxis],ytrain)
# 多元回归拟合

ytest = model.predict(xtrain[:,np.newaxis])

mse = metrics.mean_squared_error(ytrain,ytest)
rmse = np.sqrt(mse)
ssr = ((ytest - ytrain.mean())**2).sum()
sst = ((ytrain - ytrain.mean())**2).sum()
r2 = ssr/sst
r22 = model.score(xtrain[:,np.newaxis],ytrain)

梯度下降  - 偏导

 

 

 

 

 逻辑回归

经典的二分类算法（也可以解决多分类问题）                 （KNN,向量机）
机器学习算法选择：先逻辑回归再用复杂的，能简单还是用简单的
逻辑回归的决策边界：可以是非线性的。

 

sigmoid函数