统计学习

第一章 统计学习方法概论

1.1 统计学习

1.2 监督学习

1.3 统计学习三要素

第二章 感知机

第一章 统计学习方法概论

1.1 统计学习

监督学习的实现步骤：①得到一个有限的训练数据集；②确定模型的假设空间，即学习模型的集合；③确定模型选择的准则，即学习策略；④实现求解最优模型的算法，即学习的算法；⑤通过学习方法选择最优模型；⑥利用学习的最优模型对新数据进行预测或分析。

     

 

 

1.2 监督学习

训练集：T={(x₁,y₁),(x₂,y₂),...,(x_N,y_N)}   x的特征向量：x=(x⁽¹⁾,x⁽²⁾,…,x⁽ⁿ⁾)^T  x_i=(x_i⁽¹⁾,x_i⁽²⁾,...,x_i⁽ⁿ⁾)^T

 

 

1.3 统计学习三要素

模型 （假设空间）

①决策函数 F={f|Y=f_θ(x),θ∈Rⁿ}            例：Y=a₀+a₁x   θ=(a₀,a₁)^T

②条件概率分布 F={P|P_θ(Y|X),θ∈Rⁿ}   例：Y~N(a0+a₁x,σ²)

 

策略：

损失函数   0-1损失函数   L(Y,f(x))=