梯度下降

 

调节学习率

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

微分大小意味着离最小值的距离

 

 

c点和a点
c的微分较大，但是离最低点更近。

那么微分大小意味着离最小值的距离仅在不跨元素时才成立

 

 

 考虑到二次微分

 

 

 

 

 

 

 

 

 

 

左边 ：走的稳定
右边： 步伐小，散乱。但快

 

feature scaling

 特征缩放

 

 

 

 

 

 

w2的变化对y影响大
w1的变化对y（loss）影响小，微分小，那么图像平滑些

左边：行进的方向在变，参数不好控制

进行特征所放的方法

 

 

 

 

formal derivation
形式推导

任意给定一个点a，该点为圆心画一个圆，找到圆范围的最小值b点。把a 点换为b点。一直进行下去

 

 

当x 很接近x0

 

 

 举个例子

 

 

 

 要点

 

 此时，s,u,v全是常数了