深度学习之梯度下降法 Part 2 ver 0.9 beta

梯度下降思维

一开始随机初始化所有的权重和偏置值

代价函数

 

 

 

 可以分类平方和小

糊涂平方和大

 

斜率为正向左走，反之向右

这样可以逼近某一区域最小值

 

把权重偏置放到一个向量里，代价函数负梯度也是个向量，负梯度正是指如何改变参数使函数值下降最快

 

另一种思路

负梯度每项告诉我们正负号代表我们输入向量这一项调大还是调小

每一项的相对大小更告诉我们改变哪个值的影响更大

梯度向量可以理解为各个权重偏置的相对重要度，标记出改变哪个参数性价比最高

 

 

网络倾向收敛到的各个局部最小值都差不多大，如果数据集已经结构化了可以更加轻松找到局部最小值