摘要：
relu函数为分段线性函数，为什么会增加非线性元素 我们知道激活函数的作用就是为了为神经网络增加非线性因素，使其可以拟合任意的函数。那么relu在大于的时候就是线性函数，如果我们的输出值一直是在大于0的状态下，怎么可以拟合非线性函数呢？ relu是非线性激活函数 题主的疑问在于，为什么relu这种“ 阅读全文
摘要：
relu函数是否存在梯度消失问题以及relu函数的死亡节点问题 存在，在小于的时候，激活函数梯度为零，梯度消失，神经元不更新，变成了死亡节点。 出现这个原因可能是因为学习率太大，导致w更新巨大，使得输入数据在经过这个神经元的时候，输出值小于0，从而经过激活函数的时候为0，从此不再更新。所以relu为 阅读全文
摘要：
batch normalization为什么效果好 深度学习中 Batch Normalization为什么效果好？ 龙鹏 言有三的回答 知乎 https://www.zhihu.com/question/38102762/answer/607815171 深度学习中 Batch Normaliza 阅读全文
摘要：
Batch normalization 1. 为什么我们需要对特征做feature scaling？ 一句话解释就是为了让我们求解loss最低值的过程中更加的平稳和缓，容易收敛。 具体解释可以看这里: 特征工程中的「归一化」有什么作用？ 忆臻的回答 知乎 https://www.zhihu.com/ 阅读全文
摘要：
怎么选取训练神经网络时的Batch size? 知乎 https://www.zhihu.com/question/61607442 深度学习中的batch的大小对学习效果有何影响？ 知乎 https://www.zhihu.com/question/32673260 训练神经网络时如何确定batc 阅读全文
摘要：
一个batch的数据如何做反向传播 对于一个batch内部的数据，更新权重我们是这样做的： 假如我们有三个数据，第一个数据我们更新一次参数，不过这个更新只是在我们脑子里，实际的参数没有变化，然后使用原始的参数更新一次第二个例子，然后使用原始参数更新一次第三个例子。这样一个batch完了之后，我们把这 阅读全文
摘要：
为什么需要做归一化或者标准化 一句话解释就是为了让我们求解loss最低值的过程中更加的平稳和缓，容易收敛。 具体解释可以看这里: 特征工程中的「归一化」有什么作用？ 忆臻的回答 知乎 https://www.zhihu.com/question/20455227/answer/197897298 用 阅读全文
摘要：
卷积层池化和激活函数的顺序 简单来讲，先池化后激活和先激活后池化得到的效果是一样的，先池化进行了下采样，那么在激活函数的时候就减少了消耗 "Activation function after pooling layer or convolutional layer?" 阅读全文
摘要：
请问batch_normalization做了normalization后为什么要变回来？ 请问batch_normalization做了normalization后为什么要变回来？ 莫驚蟄的回答 知乎 https://www.zhihu.com/question/55917730/answer/1 阅读全文
摘要：
归一化和标准化的使用场景以及归一化和标准化有没有改变数据分布 具体讲解可以看这里: 特征工程中的「归一化」有什么作用？ 微调的回答 知乎 https://www.zhihu.com/question/20455227/answer/370658612 从这个答案我们知道，标准化和归一化在数据确定的条 阅读全文