随笔分类 -  深度学习

摘要：一、偏差与方差 偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力 算法的差异 方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响 数据集的差异 训练集的错误率较小，而验证集、测试集的错误率较大，说明模型存在较大方差，可能出现过拟合 阅读全文

摘要：一、非线性激活函数 多层的线性网络和单层的线性网络没有区别，线性模型能够解决的问题也是有限的。 可在此网站观察模拟：Tinker With a Neural Network Right Here in Your Browser. 使用线性激活函数和不使用激活函数、直接使用Logistic回归没有区别 阅读全文

摘要：一、损失函数 损失函数是表示神经网络性能的“恶劣程度”的指标，即当前的神经网络对监督数据在多大程度上不拟合，在多大程度上不一致。以“性能的恶劣程度”为指标可能会使人感到不太自然，但是如果给损失函数乘上一个负值，就可以解释为“在多大程度上不坏”，即“性能有多好”。并且，“使性能的恶劣程度达到最小”和“ 阅读全文

摘要：一、激活函数 1、引入 感知机接收x1和x2两个输入信号，输出y。　b是被称为偏置的参数，用于控制神经元被激活的容易程度；而w1和w2是表示各个信号的权重的参数，用于控制各个信号的重要性。 登场的h（x）函数会将输入信号的总和转换为输出信号，这种函数一般称为激活函数（activation funct 阅读全文