10、多层感知机 11、模型选择、欠拟合和过拟合

10、多层感知机

1、感知机

• 感知机是一个二分类模型
• 他的求解算法等价于使用批量大小为1的梯度下降
• 他不能拟合XOR函数

2、多层感知机

• 多层感知机使用隐藏层和激活函数来得到非线性模型
• 常用激活函数是Sigmoid，Relu
• 使用Softmax来处理多类分类
• 超参数为隐藏层数，和各个隐藏层大小

11、模型选择、欠拟合和过拟合

• 欠拟合是指模型无法继续减少训练误差。过拟合是指训练误差远小于验证误差。
• 由于不能基于训练误差来估计泛化误差，因此简单地最小化训练误差并不一定意味着泛化误差的减小。机器学习模型需要注意防止过拟合，即防止泛化误差过大。
• 验证集可以用于模型选择，但不能过于随意地使用它。
• 我们应该选择一个复杂度适当的模型，避免使用数量不足的训练样本。