machine learning(13) -- solving the problem of overfitting:regularization

solving the problem of overfitting:regularization

 

• 发生的在linear regression上面的overfitting问题

 

• 发生在logistic regression上面的overfitting

• 怎么解决overfitting

• regularization: cost function of linear regression

• • parameters小的话，这样hypothesis就会变得简单，这样就不会overfitting
  • 一般不会对θ₀进行regularization
  • 上式是进行regularization的linear regression的cost function,要使上式的值取最小值

 

•  对这个cost function 的分析

                 

• • 由两个式子(两个目标)组成，第一个式子是为了对trainning data更好的拟合（fitting the training data），第二个式子是为了避免overfitting
  • 第二个式子叫regularization term, λ叫regularization parameter, λ是为了平衡两个目标用的
  • 如果 λ非常大的话(这时θ₁-θ_n几乎为0,hypothesis变得很简单，只有常数)，就会出现underfitting,对trainning data/ new data很低的fitting
  • 所以并不是regularization在任何情况下(当 λ非常大的情况下),都能使model更适应new data或者training data
  • The regularization term puts a penalty on the cost J，随着模型参数的增多，the penalty increases as well.