计算机视觉2-设计分类器（2）

1.多层感知器（全连接神经网络）

 

 

 

w1行数自己设定，列数由x维度决定

 

 

 

全连接神经网络可解决线性不可分问题，如图：

隐层的个数为指定的模板的个数，输出层的个数为类别数

 

 

 

2.激活函数（对每一层中输出向量的每个维度进行处理）

 

 

即此函数中的max，如果去掉激活函数，全连接神经网络将变为线性分类器。

 

 

 

 3.损失函数

 

（1）softmax：将输出结果处理为输出概率 

 

                    

 

 

 （2）交叉熵损失：度量分类器输出与预测值之间的距离

                 

 

 

 

 

当真实分布为one-hot形式时，交叉熵损失为KL散度

 

 

4.交叉熵损失对比多类支撑向量机损失

  

除了计算方法不同，交叉熵损失在分数结果分布较为相近时比较大，如10，9,9。要求在求出结果的同时降低其他分布的概率。

                                 多类支撑向量机损失则在求出 分数-标答>1，向量机损失直接为0，结束。

 

 

5.计算图：反着计算的时候将梯度理解为导数  上一轮的结果（即梯度导数）乘这一轮的局部梯度导数（将结果带入x）。 

上为得数，下为梯度

可由反向传播求出f对w的梯度

 

选择激活函数时尽量选择ReLu或leaklyReLu，可防止梯度消失