摘要：多层感知器,计算训练数据的输出,根据预测输出和实际输出之间的差异去调整神经元的权值w和偏重b,不断迭代训练直到误差小于一定范围。 对于单个神经元： 多层感知机的前向传播（Forward Propagation）： 多层感知机的反向传播（Backward Propagation）： Loss func 阅读全文

摘要：1、神经网络为什么引入激活函数？ 如果不引入激活函数，神经网络的每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，与没有隐藏层的效果相当，这种情况就是最原始的感知机（Perceptron）。 因此，引入非线性函数作为激励函数，这样深层神经网络就有意义了（不再是输入的线性 阅读全文

摘要：最近学习遇到了代价函数，在网上搜索整理了几个容易混淆的概念： 一、定义 损失函数定义在单个样本上，算的是一个样本的误差。 代价函数定义在整个训练集上，是所有样本误差的平均，也就是损失函数的平均。 目标函数定义为最终需要优化的函数，等于经验风险 + 结构风险（也就是Cost Function + 正则 阅读全文