Python深度学习读书笔记-4.神经网络入门
神经网络剖析
训练神经网络主要围绕以下四个方面:
- 层,多个层组合成网络(或模型)
- 输入数据和相应的目标
- 损失函数,即用于学习的反馈信号
- 优化器,决定学习过程如何进行
如图 3-1 所示:多个层链接在一起组成了网络,将输入数
据映射为预测值。然后损失函数将这些预测值与目标进行比较,得到损失值,用于衡量网络预
测值与预期结果的匹配程度。优化器使用这个损失值来更新网络的权重。
层:深度学习的基础组件
层是一个数据处理模块,将一个或多个输入张量转换为一个或多个输出张量。
有些层是无状态的,但大多数的层是有状态的,即层的权重。
权重是利用随机梯度下降学到的一个或多个张量,其中包含网络的知识。
不同的张量格式与不同的数据处理类型需要用到不同的层。
- 简单的向量数据保存在形状为 (samples, features) 的 2D 张量中,通常用密集连接层[ 也
叫全连接层或密集层,对应于 Keras 的 Dense 类]来处理。
- 序列数据保存在形状为 (samples, timesteps, features) 的 3D 张量中,通常用循环
层( recurrent layer,比如 Keras 的 LSTM 层)来处理。
- 图像数据保存在 4D 张量中,通常用二维卷积层( Keras 的 Conv2D)来处理。
模型:层构成的网络
深度学习模型是层构成的有向无环图。
常见的网络拓扑结构:
1.线性堆叠
2.双分支( two-branch)网络
3.多头( multihead)网络
4.Inception 模块
损失函数( 目标函数)
在训练过程中需要将其最小化。它能够衡量当前任务是否已成功完成。
优化器
决定如何基于损失函数对网络进行更新。它执行的是随机梯度下降( SGD)
的某个变体。
如何选择损失函数
- 对于二分类问题,你可以使用二元交叉熵( binary crossentropy)损失函数;
- 对于多分类问题,可以用分类交叉熵( categorical crossentropy)损失函数;
- 对于回归问题,可以用均方误差( mean-squared error)损失函数;
- 对于序列学习问题,可以用联结主义时序分类( CTC, connectionist temporal classification)损失函数,