终.算法 - 随笔分类 - rin_riceroll

【摘】1范数与2范数优缺

摘要：https://www.zhihu.com/question/20473040 x 的 1 范数：x 到零点的曼哈顿距离 x 的 2 范数：x 到零点的欧氏距离范数我觉得也是这样，什么一范数二范数也是用来度量一个整体，比如两个个班的人比较高度，你可以用班里面最高的人（向量无穷范数）去比较，也可以用阅读全文

posted @ 2020-11-23 22:21 rin_riceroll 阅读(657) 评论(0) 推荐(0)

杂（max和argmax区别及神经网络偏置的作用）

摘要：神经网络中偏置的作用偏置值允许将激活函数向左或向右移位,更好的拟合数据! 图解： https://blog.csdn.net/mmww1994/article/details/81705991 阅读全文

posted @ 2020-09-16 20:38 rin_riceroll 阅读(278) 评论(0) 推荐(0)

【转】基于交叉熵进行反向传递的推导和理解

摘要：找到的写的很干净仔细，能跟着推下来的推导 http://www.wglite.com/post/bp 最简单的三层神经网络损失函数：交叉熵激活函数分别为sigmoid和softmax 没有偏置阅读全文

posted @ 2020-09-16 20:36 rin_riceroll 阅读(431) 评论(0) 推荐(0)

交叉函数推导

摘要：找到两篇比较好，能跟着推导下来的文章： SoftMax函数，交叉熵损失函数与熵，对数似然函数 https://blog.csdn.net/qq_38469553/article/details/83860335 损失函数 - 交叉熵损失函数 https://zhuanlan.zhihu.com/p/ 阅读全文

posted @ 2020-09-09 22:18 rin_riceroll 阅读(317) 评论(0) 推荐(0)

【杂】为什么代价函数用J符号+矩阵其他形式+学习率设置

摘要：有个学习率的东西，学习率取个0.5。关于学习率，不能过高也不能过低。因为训练神经网络系统的过程，就是通过不断的迭代，找到让系统输出误差最小的参数的过程。每一次迭代都经过反向传播进行梯度下降，然而误差空间不是一个滑梯，一降到底，常规情况下就像坑洼的山地。学习率太小，那就很容易陷入局部最优，就是你认为的阅读全文

posted @ 2020-09-09 22:16 rin_riceroll 阅读(274) 评论(0) 推荐(0)

均方误差和交叉熵损失函数的选择

摘要：参考：https://zhuanlan.zhihu.com/p/35709485 交叉熵损失函数经常用于分类问题中，特别是在神经网络做分类问题时，也经常使用交叉熵作为损失函数，此外，由于交叉熵涉及到计算每个类别的概率，所以交叉熵几乎每次都和sigmoid(或softmax)函数一起出现。交叉熵损失阅读全文

posted @ 2020-09-09 22:12 rin_riceroll 阅读(875) 评论(0) 推荐(0)

sigmoid和softmax使用区别

摘要：转载自：https://www.cnblogs.com/zhibei/p/12070046.html 参考：https://baijiahao.baidu.com/s?id=1636737136973859154&wfr=spider&for=pc sigmoid = 多标签分类问题=多个正确答案= 阅读全文

posted @ 2020-09-09 21:59 rin_riceroll 阅读(366) 评论(0) 推荐(0)

初识评估算法及算法的时间复杂度

摘要：https://baijiahao.baidu.com/s?id=1609024533531824968&wfr=spider&for=pc 程序是用来解决问题的，是由多个步骤或过程组成的，这些步骤和过程就是解决问题的算法。解决一个问题有多种方法，也就有多种算法。每一种算法都可以达到解决问题的目的，阅读全文

posted @ 2020-01-17 09:51 rin_riceroll

VLBP基本算法和一种改进的算法IVLBP

摘要：VLBP ——variable learning rate 可变学习速率的BP VLBP算法基本思想一种改进的可变学习速率的BP神经网络算法IVLBP https://wenku.baidu.com/view/c4723e3043323968011c9283.html 阅读全文

posted @ 2020-01-08 15:53 rin_riceroll 阅读(525) 评论(0) 推荐(0)

Adam算法及相关Adaptive Learning Rate 自适应学习率

摘要：目录前言 1.adagrad 2.动量（Momentum） 3.RMSProp 4.Adam 附1 基于梯度的优化算法前后关系附二 Gradient Descent补充前言： https://www.zhihu.com/question/323747423/answer/790457991 A 阅读全文

posted @ 2020-01-07 16:40 rin_riceroll 阅读(2694) 评论(0) 推荐(1)

随笔分类 - 终.算法