深度学习基础

一、神经网络与多层感知机

人工神经元：人类神经元中抽象出来的数学模型

人工神经网络：大量神经元以某种连接方式构成的机器学习模型

多层感知机：层级神级网络基础上引入一个或多个隐藏层

前向传播：输入层数据不断向前传播最后输出

激活函数：无激活函数，网络退化为单层网络

• 让多层感知机成为真正的多层，否则等价为一层
• 引入非线性，使得网络可以逼进任意非线性函数(万能逼进定理)
• 常见激活函数：Sigmoid，Tanh，ReLu

反向传播：损失函数开始从后向前，梯度逐步传递至第一层

• 作用：用于权重更新，使网络输出更接近标签
• 原理：链式求导法则

损失函数：衡量模型输出与真实标签的差异

学习率：控制更新步长

梯度：一个向量，方向为方向导数取得最大值的方向，梯度下降法

正则化方法：

• L1和L2
• dropout

二、卷积神经网络

2.1 卷积操作

• 卷积核：具可学习参数的算子，用于对输入图像进行特征提取，输出通常称为特征图（feature maps）
• 填充 ： 在输入图像的周围添加额外 的行 / 列 ，使卷积后图像分辨率不变 ， 方便计算特征图尺 寸的变化 ，弥补边界信息 “ 丢失 ”
• 步 幅 ：卷积核滑动的⾏数和列数称为步幅，控制输出特征图的大小，会被缩小1/s倍
• 多 通 道 卷 积 ： RGB图像是3hw的三维的数据，第一个维度3，表示channel，通道数 一个卷积核是3-D张量，第一个维与输入通道有关 注：卷积核尺寸通常指高、宽

2.2 池化操作

• 池 化 ： 一 个像素表示一块区域的像素值 ， 降低图像分辨率
• 一块区域像素如何被一个像素代替：
  • 方法1: Max Pooling，取最大值
  • 方法2: Average Pooling，取平均值 输出尺寸计算与卷积操作类似
• 注意：池化层无可学习参数
• 池 化 作 用 ：
  • 缓解卷积层对位置的过度敏感
  • 减少冗余
  • 降低图像分辨率，从而减少参数量

2.3 分类器

？

三、循环神经网络

3.1 序列数据

序列数据是常见的数据类型 ， 前后数据通常具有关联性

3.2 语言模型

语言模型计算序列概率

3.3 RNN模型

隐藏状态： 用于记录历史信息 ， 有效处理数据的前后关联性激活函数采用 Tanh ， 将输出值域限制在 [ - 1 , 1 ] ， 防止数值呈指数级变化

RNN特性 ：

• 循环神经⽹络的隐藏状可以捕捉截至当前时间步的序列的历史信息

• 循环神经⽹络模型参数

• 透过时间反向传播

3.4 门控循环单元GRU

缓解RNN梯度消失带来的问题 ， 引入门概 念 ， 来控制信息流动 ， 使模型更好的记住长远时期的 信息 ， 并缓解梯度消失