卷积神经网络中的 “全连接层”
原文链接：https://blog.csdn.net/nanhuaibeian/article/details/100532038、https://cloud.tencent.com/developer/article/2299601
改进：https://www.bilibili.com/read/cv28976895/ CNN 中的逐点卷积：替换全连接层
它利用转置卷积层来替换CNN最后的全连接层，从而可以实现每个像素点的预测: https://www.jianshu.com/p/c12882cd99b1
全连接层（Fully Connected Layer）是早期构建卷积神经网络的主要结构，位于卷积神经发网络的末尾，全连接层的每一个节点都与前层的节点全部互连，整合前层网络提取的特征，并把这些特征映射到样本标记空间。例如在VGG16中，第一个全连接层FC1有4096个节点，上一层POOL2是7*7*512 = 25088个节点，则该传输需要4096*25088个权值，需要耗很大的内存。
全连接层对前层输出的特征进行加权求和，并把结果输入到激活函数，最终完成目标的分类。加权求和计算公式如下：
其中，wi 是全连接层中的权重系数，xi 是上一层第 i 个神经元的值，bi 是全连接层的偏置量。 全连接层的结构如下图所示。
全连接层神经元全部互相连接，其参数量占整个网络模型的 80%以上。全连接层中的各个神经元输出的特征信息基本都是重复的，这使得网络在训练过程中容易过拟合，往往通过在全连接层后添加 Dropout 的方法来避免。Dropout 层在网络训练时可以随机使部分神经元失活，这样就可以降低神经元之间的相关性，避免网络过拟合，提高网络的泛化能力。Dropout 原理如下图所示：
全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息．为了提升 CNN 网络性能，全连接层每个神经元的激励函数一般采用 ReLU 函数。最后一层全连接层的输出值被传递给一个输出，可以采用 softmax 逻辑回归（softmax regression）进行 分 类，该层也可 称为 softmax 层（softmax layer）．对于一个具体的分类任务，选择一个合适的损失函数是十分重要的，CNN 有几种常用的损失函数，各自都有不同的特点．通常，CNN 的全连接层与 MLP 结构一样，CNN 的训练算法也多采用BP算法。
1. 全连接层原理
1.1 基本思想
全连接层是CNN中用于将卷积层和汇聚层的输出转化为最终分类或回归结果的关键层级结构。其基本思想是将输入的特征向量与权重矩阵相乘，并加上偏置项，然后通过激活函数映射到最终输出值。全连接层将卷积和汇聚层提取的特征进行高度抽象和整合，以便进行更高级别的推断和预测。
1.2 权重矩阵和偏置项
全连接层中的权重矩阵和偏置项起着非常重要的作用。权重矩阵是一个高维矩阵，其中的每个元素表示了输入特征和输出结果之间的关联程度。偏置项是一个常数向量，用于调整模型的灵活性和偏倚。
1.3 激活函数
全连接层通常会使用非线性的激活函数对输出进行映射，以增加模型的表达能力和拟合能力。常见的激活函数包括Sigmoid函数、ReLU函数和Softmax函数等。这些激活函数能够引入非线性特性，使得模型可以更好地处理复杂的数据分布和分类任务。
2. 全连接层结构
2.1 输入和输出
全连接层的输入通常是前面卷积层或汇聚层提取的特征图，其形状可以是一维、二维或更高维度的张量。输出是全连接层根据输入特征和权重矩阵计算出来的分类或回归结果。
2.2 权重矩阵计算
全连接层中的权重矩阵计算是全连接层的核心操作。通过将输入特征向量与权重矩阵相乘，并加上偏置项，可以得到全连接层的输出结果。权重矩阵的维度通常由输入和输出的维度决定。
2.3 激活函数映射
全连接层的输出结果通过激活函数进行映射，以获得最终的分类或回归结果。不同的激活函数在输出结果的表达能力和非线性特性上具有差异，需要根据任务的要求进行选择。
3. 全连接层应用
3.1 分类任务
全连接层在CNN中常用于进行图像分类任务。通过将卷积和汇聚层提取的特征图转化为特征向量，全连接层可以捕捉到更高级别的语义特征并进行分类推断。全连接层的输出结果通过Softmax函数映射，可以得到每个类别的概率分布。
3.2 回归任务
除了分类任务，全连接层还可用于回归任务。在回归任务中，全连接层的输出结果可以是一个连续值，如位置坐标、物体大小等。通过调整权重矩阵和偏置项，全连接层可以学习到输入特征与回归结果之间的关系。
3.3 特征融合
全连接层对于特征融合也起着重要作用。通过全连接层将多个不同层级的特征进行融合，可以得到更综合和全局的特征表示。这对于一些需要考虑整体图像语义的任务，如目标检测和图像分割，非常重要。
4. 总结
本文详细介绍了CNN全连接层的原理、结构和应用。全连接层通过将卷积和汇聚层提取的特征进行高度抽象和整合，实现最终的分类或回归结果。全连接层中的权重矩阵和偏置项、激活函数等都起着重要作用。全连接层在图像处理和计算机视觉任务中具有重要性，如图像分类、回归、特征融合等。
这100种蜂蜜只对特定花粉敏感，相当于100个不同的卷积核，而卷积出的数据，相当于他们采得的花粉，然后我们把这100个卷积核卷出的所有数据，展平成一维，就是全连接层的神经元了。
