4_多层感知机

感知机(总结)

• 感知机是一个二分类模型，是最早的AI模型之一
• 它的求解算法等价于使用批量大小为1的梯度下降
• 它不能拟合XOR函数，导致第一次AI寒冬

多层感知机(总结)

• 超参数
  • 隐藏层数
  • 每层隐藏层的大小
  • 神经网络设计的一些经验
    • 逐步地对数据进行压缩，避免丧失过多信息
    • 后面我们可以适当地扩张某一层的大小
• 多层感知机使用隐藏层和激活函数来得到非线性模型
• 常用的激活函数为Sigmoid、Tanh、Relu
• 使用Softmax来处理多类分类

对于最后train_ch3没有train loss线的问题

我在跟着沐神学习的时候，完全照着代码写，会出现这个问题，将loss改为loss = nn.CrossEntropyLoss(reduction="none")即可

reduction: （string，可选）”none”：不应用任何缩减，“mean”：取输出的加权平均值，“sum”：输出将被求和。默认:‘mean

神经元个数与隐藏层层数的理解

在两个模型复杂度相同的情况下，隐藏层层数较多的更容易训练，俗语说：“不要一口气吃成一个大胖子”。而神经元较多、层数较少的一类也被称为浅层学习

K折交叉验证集

目的：在没有足够多数据时使用

模型的选择(总结)

• 训练数据集：训练模型的参数
• 验证数据集：选择模型的超参数
• 非大数据集上通常使用k-折交叉验证

权重衰退(总结)

• 使用均方范数作为硬性限制
  • 通过限制参数值得选择范围来控制模型容量
• 使用均方范数作为柔性限制
• 权重衰退通过L2正则项使得模型参数不会过大，从而控制模型复杂度
• 正则项权重是控制模型复杂度的超参数