AI_Pytorch_卷积基本概念

卷积的特征：

卷积--卷积计算--一种计算规则 滑窗式点乘求和操作
1.网络局部连接（Local Connectivity）2.卷积核参数共享（Parameter Sharing）
局部连接 权值共享
01.卷积层的节点仅仅和其前一层的局部节点相连接，只用来学习局部特征
02.权值共享,就是输入一张图,用一个filter去扫这张图,filter里面的数就叫权重,
这张图每个位置都是被同样的filter扫的,所以权重是一样的,也就是共享
不同的卷积核才会对应不同的权值参数，来检测不同的特征
卷积核的参数有以下几个：宽度、高度、深度、个数
感受野
图像的平移不变性--从全局特征图提取局部特征
二维卷积好三维卷积--指输出维度-非卷积核的维度
转置卷积--通常用于对图像进行上采样

通道分离卷积

对每一个通道进行各自的卷积操作，得到新的通道特征矩阵后，在通过标准的1*1跨通道卷积操作

卷积神经网络

构成： CNN通常包括这几层：
输入层（input layer） ： batch
卷积层（convolutional layer）
池化层（pooling layer）降采样层
最小池化-最大池化-求和池化--
一般池化-重叠池化-空间金字塔池化 overlapping pooling -Spatial Pyramind pooling
激活层--非线性映射-激活函数
输出层（全连接层+softmax layer）
BN层--Batch Normalization 正则化 成标准正态分布的正则化层,
初始图片的通道数

参数计算

1.channels depth stride padding K-size
padding-- SAME-宽卷积 --通常采用零填充对卷积和不满足整除的条件下输入特征进行补全
-- VALID-窄卷积
Epoch:使用训练集中全部数据对模型进行一次完整训练，称为“一代训练”
（训练时，所有数据都练过一次）
Batch:使用训练集中的一小部分样本对模型权重进行一次反向传播的参数更新，这一小部分样本成为“一批数据”

学习率--learning rate
批次大小--Batch size
数据轮次- Epoch
权重衰减系数-weight Decay

提高泛化能力

数据--使用更多代表性数据-使用更大批次-数据增强
网络--调整网络结构 权重正则化 调整目标函数 屏蔽网络节点
推理--微调--重新训练--修改结构--搭建结构
网络结构- 代价函数

微调

fine-tuning的过程就是用训练好的参数（从已训练好的模型中获得）初始化自己的网络，
然后用自己的数据接着训练，参数的调整方法与from scratch训练过程一样（梯度下降
generative pre-training（生成式预训练）到discriminative fine-tuning（判别微调）

学习率（learning-rate