卷积神经网络更新

基础

高斯核

权重归一化是只核中每一个元素的值都除以这个核中所有元素值的总和，我们将进行权重归一化的模板称为平滑模板。

也就是说对核中心的值归一化的时候，如果增大模板则分子不变分母变大，因此核中心的值归一化后变小，这会导致图像中中心像素的权值变小，因此中心像素越容易受到周围像素的影响，核的平滑效果越强。

 

总的来说核的方差越大，模板越大，中心像素的权值越小，平滑效果就越明显，中心像素越容易受到周围像素的影响。一般噪声比较强的时候我们需要平滑能力比较强的核。

尺寸的选取原则：高斯核的尺寸＝大于6σ₀+1的第一个奇数。

图像的一阶导数

信号极具变化的点，是它的导数的极值点

求图像的导数就是用特殊的卷积核对图像进行卷积

x方向的导数垂直于沿y方向的边，因此x方向导数的模板显示出的都是沿y方向的边

图像的梯度

梯度比较大的地方就可能是边缘

高斯一阶偏导

噪声对信号求导的影响

 

利用卷积的微分性质对上图进行改进，减少运算量

 

 

方差大的提取的粗粒度的轮廓，方差小的提取细粒度的轮廓(细节信息明显)

恒定区域不受影响：

恒定区域指的是灰度值都一样的区域

高斯一阶偏导数权值和总为0：

恒定区域的梯度为0，如果高斯一阶偏导数不为0的话，就会有梯度的出现，这显然不合理

高对比度的地方一般指的是边缘，也就是边缘处梯度值大。

纹理表示

卷积核组

将每个响应图展开成向量的纹理表示方法

 

利用响应图的某种统计特性来表示纹理的方法(一般使用这个方法)

如果一张图像中水平方向的边比较多，也就是水平的纹理比较大，那么它和第一张卷积核的卷积结果就比较大，那么第一张响应图的像素值就比较大，那么响应图中所有像素求均值就比较大r₁(-)就比较大。

举个例子：

白色表示像素值是最大的(这和白色的像素值是255(像素值最大)是一样的)

 

我们得到的这48个响应图中的每张图的第一个像素代表着原图的第一个像素对相应卷积核的响应，将这些响应组成一个48*1的向量，该向量一定是一个稀疏的向量，即只有少部分的值会很大，比如说第三个值很大那么这意味着原图中的第一个像素对第三个卷积核有很大的响应，也就是说原图中的第一个像素更可能是第三个卷积核代表的纹理基元中的像素

全连接神经网络的局限性

可以看到当输入图像大小为32*32*3的时候第一个隐层中一个神经元权值个数为3073(还有一个偏置),这只是一个神经元的权值数量，那么多个神经元就会导致我们的权值数量相当的庞大，因此全连接神经网络只适合小的图像。

因此我们可以使用比如说48个卷积核组对原图进行卷积，对每个响应结果取平均，这样就得到了48维的向量，然后再作为全连接神经网络的输入层。

卷积神经网络

卷积层

卷积的过程如下图所示这里以两个卷积核为例

注意w₀代表一个卷积核它的尺寸是3*3*3，其中第一行代表w₀这个卷积核对R通道的卷积核，第二行代表w₀这个卷积核对G通道的卷积核，第三行代表w₀这个卷积核对B通道的卷积核，注意它们的数值不相同。w₀,w₁处于同一层，如果这一层只有它们两个卷积核那么这一层的深度就是2。

卷积核的尺寸

第一层(蓝色)中卷积核的尺寸5*5*3中的3代表输入图像的通道个数，第二层(绿色)中卷积核的尺寸5*5*6中的6代表第一层得到的特征图的个数，以后每一层中的第三个数都代表前一层的特征图的个数。

注意尺寸计算如果除不尽就向上取整

卷积的步长

卷积核的中心(当然可以选择卷积核的其他位置)向右或则向下移动几个像素步长就是几，比如下面的步长为2

步长越小得到的特征图像的尺寸越大，得到的特征更为丰富，计算量越大

一般选用步长为1，卷积核的一维尺寸为3*3

边界填充之零填充(Zero Padding)

Relu

将特征响应图中小于0的像素值置为0，大于0的部分保留

可能的特征响应图：

池化层

卷积核能够看到更大视野的东西代表着卷积核关注这张图中更粗犷的东西

• 最大池化的原理：一块区域的像素对某一个卷积核的响应一定是比较类似的，那么留下这个区域内的最强响应以此来反映这个区域对这个纹理的响应情况。
• 池化后的尺寸公式和卷积核没有零填充的尺寸计算公式相同
• 池化操作可以增大感受野

图像增强

层数的确定