10 2021 档案

摘要：神经网络中的非线性是由激活层实现的，而激活层是由激活函数组成的，这里介绍四种常见的激活函数。 1.Sigmoid函数首当其冲，该函数区别了神经网络与感知器(激活函数是阶跃函数)，很明显它将输出限制在了(0,1)之间，因此可以与概率分布联系起来，也能用于输入的归一化，该函数的输出值始终大于0，函数的形 阅读全文

摘要：怎么知道一张图片经过滤波器处理后的大小（神经网络中）？ 假设输入大小为(H,W),滤波器大小为(FH,FW),输出大小为(OH,OW),填充是P,步幅是S。则经过此滤波器后，图像的大小为 \[ OH=\frac{H+2 P-F H}{S}+1 \] \[ OW=\frac{W+2 P-F W}{S} 阅读全文

摘要：深度学习中，典型的参数更新方法首先是SGD 它的更新方法如下$$\eta,\alpha都是超参数$$ \(w_{2}=w_{1}-\eta \frac{\partial L}{\partial w_{1}}\) 但该方法面对非匀向的损失函数(如呈现延伸状),是收敛不到最小值的，以 \[ F1(x1, 阅读全文

摘要：最近用博客园做笔记时想插入一些公式，搞了很久，自己就定了这么一套流程 使用Markdown编辑器 在设置里的页首html添加如下图片的代码 3. 将公式化为latex代码，这里推荐使用Mathpix_Snipping_Tool,如下图所示 4.将复制好的代码粘帖至编辑器中 插入图片时就用下面这个定式 阅读全文

摘要：恢复内容开始 根据计算图，由于是最后一层，所以反向传过来的梯度dout=1 t表示监督数据，y表示上一层的输出，也就是到softmax-with-Loss层的输入 上图的计算图是监督数据是热编码的形式 上述代码就包含了监督数据是标签形式 恢复内容结束 阅读全文