2024年2月26日
摘要：
个人学习使用，内容来源于网络，侵权删 主要原因就是反向传播链式求导某项小于1（如使用sigmoid激活函数，其求导之后值\(\leq0.25\)），越深层次网络导数连乘越多，从而导致梯度消失，反之某项大于1会导致梯度爆炸，因此初始\(W\)过大会导致梯度爆炸。 如图所示，当\(\sigma\)激活函 阅读全文
摘要：
个人学习所用，内容来源于网络，侵权删 1. CNN定义 卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一 阅读全文
摘要：
个人学习所用，内容来源于网络，侵权删。 1. 定义 损失函数是用来评价网络模型的输出的预测值\(\widehat{Y}=f(X)\)与真实值\(Y\)之间的差异，我们使用\(L(Y, \widehat{Y})\)来表示损失函数（非负实值函数），我们的目的是让损失函数尽可能小。 假设网络模型中有\(N 阅读全文
摘要：
个人学习使用，内容来源于网络，侵权删 神经网络反向传播时参数朝着最小化损失的方向前进，确切说，是朝着梯度方向更新。设神经网络参数是\(W\)，学习率是\(\alpha\)，网络代表的函数是\(L(W)\)，那么参数更新公式可表示为： $W=W-\alpha*\bigtriangledown_WL(W 阅读全文