摘要:
批量归一化(Batch Normalization)缓解梯度问题 批量归一化(Batch Normalization,简称BN)是深度学习中一个非常有效的技术,它通过规范化每一层的输入来加速训练,并帮助缓解梯度消失和梯度爆炸的问题。接下来,我会用通俗易懂的方式解释为什么批量归一化能做到这一点。 为什 阅读全文
posted @ 2025-05-08 17:29
玉米面手雷王
阅读(126)
评论(0)
推荐(0)
摘要:
我们来详细推导并计算卷积层的前向传播和反向传播在计算成本(乘法与加法次数)和内存占用方面的表达式。 📌 基本设定 输入尺寸:$ c_i \times h \times w $ 卷积核尺寸:$ c_o \times c_i \times k_h \times k_w $ 填充:$ (p_h, p_w 阅读全文
posted @ 2025-05-08 14:26
玉米面手雷王
阅读(51)
评论(0)
推荐(0)
摘要:
问题:假设我们有两个卷积核,大小分别为\(k_1\)和\(k_2\)(中间没有非线性激活函数)。 证明运算可以用单次卷积来表示。 这个等效的单个卷积核的维数是多少呢? 反之亦然吗? 在卷积神经网络(CNN)中,实际使用的操作是“互相关”(cross-correlation),而不是标准意义上的“卷积 阅读全文
posted @ 2025-05-08 11:34
玉米面手雷王
阅读(62)
评论(0)
推荐(0)