随笔档案「2020年9月」 - rin_riceroll

【03】RNN

摘要：https://blog.csdn.net/zhaojc1995/article/details/80572098 RNN RNN前向传播过程其中它们二者是何其的相似，都把输出压缩在了一个范围之内。他们的导数图像也非常相近，我们可以从中观察到，sigmoid函数的导数范围是(0,0.25]，ta 阅读全文

posted @ 2020-09-17 15:55 rin_riceroll 阅读(183) 评论(0) 推荐(0)

【02】时间复杂度

摘要：【转】一套图搞懂“时间复杂度” https://blog.csdn.net/qq_41523096/article/details/82142747 阅读全文

posted @ 2020-09-16 22:42 rin_riceroll 阅读(133) 评论(0) 推荐(0)

【01】二叉树

摘要：二叉树的相关概念树高度，节点层数，节点度数，路径，叶节点，分支节点，根节点，父节点，左节点，右节点，兄弟节点，祖先节点，子孙节点，左子树，右子树 ①结点：包含一个数据元素及若干指向子树分支的信息 ②结点的度：一个结点拥有子树的数目称为结点的度 ③叶子结点：也称为终端结点，没有子树的结点或者度为零的阅读全文

posted @ 2020-09-16 22:41 rin_riceroll 阅读(200) 评论(0) 推荐(0)

杂（max和argmax区别及神经网络偏置的作用）

摘要：神经网络中偏置的作用偏置值允许将激活函数向左或向右移位,更好的拟合数据! 图解： https://blog.csdn.net/mmww1994/article/details/81705991 阅读全文

posted @ 2020-09-16 20:38 rin_riceroll 阅读(277) 评论(0) 推荐(0)

【转】基于交叉熵进行反向传递的推导和理解

摘要：找到的写的很干净仔细，能跟着推下来的推导 http://www.wglite.com/post/bp 最简单的三层神经网络损失函数：交叉熵激活函数分别为sigmoid和softmax 没有偏置阅读全文

posted @ 2020-09-16 20:36 rin_riceroll 阅读(431) 评论(0) 推荐(0)

交叉函数推导

摘要：找到两篇比较好，能跟着推导下来的文章： SoftMax函数，交叉熵损失函数与熵，对数似然函数 https://blog.csdn.net/qq_38469553/article/details/83860335 损失函数 - 交叉熵损失函数 https://zhuanlan.zhihu.com/p/ 阅读全文

posted @ 2020-09-09 22:18 rin_riceroll 阅读(316) 评论(0) 推荐(0)

【杂】为什么代价函数用J符号+矩阵其他形式+学习率设置

摘要：有个学习率的东西，学习率取个0.5。关于学习率，不能过高也不能过低。因为训练神经网络系统的过程，就是通过不断的迭代，找到让系统输出误差最小的参数的过程。每一次迭代都经过反向传播进行梯度下降，然而误差空间不是一个滑梯，一降到底，常规情况下就像坑洼的山地。学习率太小，那就很容易陷入局部最优，就是你认为的阅读全文

posted @ 2020-09-09 22:16 rin_riceroll 阅读(272) 评论(0) 推荐(0)

均方误差和交叉熵损失函数的选择

摘要：参考：https://zhuanlan.zhihu.com/p/35709485 交叉熵损失函数经常用于分类问题中，特别是在神经网络做分类问题时，也经常使用交叉熵作为损失函数，此外，由于交叉熵涉及到计算每个类别的概率，所以交叉熵几乎每次都和sigmoid(或softmax)函数一起出现。交叉熵损失阅读全文

posted @ 2020-09-09 22:12 rin_riceroll 阅读(872) 评论(0) 推荐(0)

sigmoid和softmax使用区别

摘要：转载自：https://www.cnblogs.com/zhibei/p/12070046.html 参考：https://baijiahao.baidu.com/s?id=1636737136973859154&wfr=spider&for=pc sigmoid = 多标签分类问题=多个正确答案= 阅读全文

posted @ 2020-09-09 21:59 rin_riceroll 阅读(364) 评论(0) 推荐(0)