从公式的角度理解L2和L1正则

L2正则

$$C=C_0+\frac{\lambda}{n}\sum_{i=1}^n{w_i^2}$$

$$\frac{\partial C}{\partial w}=\frac{\partial C_0}{\partial w}+\frac{\lambda}{2n}w$$

\begin{equation}w\to w'=w-\eta\frac{\partial C}{\partial w}=\left(1-\frac{\eta\lambda}{n}\right)w-\eta\frac{\partial C_0}{\partial w}\label{g1}\end{equation}

η是学习率,λ是正则系数,n是参数的个数。
L2 正则项的作用是使 w 在每次迭代时都 变小了 ηλ/n 倍。如果要使这个倍率不变,那么当参数个数增多(即 n 变大) 时,正则项系数 λ 也应该相应调大。

L1正则

 $$C=C_0+\frac{\lambda}{n}\sum_{i=1}^n{|w_i|}$$

$$\frac{\partial C}{\partial w}=\frac{\partial C_0}{\partial w}+\frac{\lambda}{n}\textrm{sgn}(w)$$

$$\textrm{sgn}(w)=\left\{\begin{matrix}1 & \textrm{if}\;w\geqslant 0\\0 & \textrm{if}\;w<0\end{matrix}\right.$$

$$w \to w-\frac{\eta\lambda}{n}\textrm{sgn}(w)-\eta\frac{\partial C_0}{\partial w}=w\pm\frac{\eta\lambda}{n}-\eta\frac{\partial C_0}{\partial w}$$

当w是小于1的正数时,L1正则的效果是使w减小ηλ/n ,即相比于L2正则w减小得更多,L1正则使(0,1)上的w快速向0逼近。当w位于(-1,0)时,L1正则的效果是使w增大ηλ/n,也是快速向0逼近。总的来说L1 正则的效果是使不重要的 w (绝对值小的w)几乎衰减为 0。
跟L2一样,参数变多时,正则系数λ也要跟着变大才能使w的更新速率保持不变。

posted @ 2020-05-16 21:16  张朝阳  阅读(286)  评论(0编辑  收藏