统计学习方法-经验风险与结构风险

 

数据集的表示方法：

数据集 数据集中的X是矩阵T={(X₁,Y₁),(X₂,Y₂).....(Xn,Y_n)}

向量     

　　其中有N个样本n个特征

• 联合概率=边缘概率*条件概率(X,Y遵循联合概率分布P(X,Y))

　　P(X,Y)=P(Y)*P(X|Y)

 统计学习方法的三个要素：

• 模型:假设空间中有很多模型供我选择

　　　　一个空间中有很多很多的模型如：F1、F2、F3、、、、

• 策略:我依靠什么规则去选择模型

　　　　利用一种规则或者算法去选择你要使用的模型

• 算法:如何求得模型的参数（最优化）

 　　　　算出模型中的参数例如w₀+w₁x₀+w₂x₁求出其中的w_0、w_1、w₂三个参数。

结构风险与经验风险

经验风险：关于训练集的平均损失

 

先求和再取平均值；N1到Nn的平均损失就叫经验风险

结构风险：加了正则化的经验风险：

 λ控制正则化项的强度 J(f)控制复杂度
J(f)=wx+b  
J(f)=|w|x+b 
J(f)=||w||²x+b