08 2018 档案

十一
摘要：detectionand segmentation localization； 1、 疑问： 1、transpose convolution; 2、R-CNN; 3、 阅读全文
posted @ 2018-08-25 16:03 loooffeeeey 阅读(126) 评论(0) 推荐(0)
十
摘要：循环神经网络： 1、LSTM 2、 疑问： 1、LSTM有点复杂，没有彻底搞明白； 2、 阅读全文
posted @ 2018-08-25 13:39 loooffeeeey 阅读(113) 评论(0) 推荐(0)
九
摘要：cutting edge CNN architectures: 1、pooling preserce the depth; and have no parameters; 2、 疑问： 1、不太懂残差网络； 2、 阅读全文
posted @ 2018-08-23 19:35 loooffeeeey 阅读(147) 评论(0) 推荐(0)
八
摘要：Nesterov Momentum 这里指的是优化训练的算法: 1、为了防止局部最小值，非凸函数的那种，加一个冲量，让梯度下降有一个累计，可能会由于冲量，直接冲出局部最小值的鞍点部分； 2、adam 算法是一个好东西； 3、使学习率迭代次数或者时间衰变； 4、牛顿法是梯度下降的进一步发展，不仅仅考虑 阅读全文
posted @ 2018-08-22 20:44 loooffeeeey 阅读(118) 评论(0) 推荐(0)
七
摘要：计算图： 1、计算图应该是一个重要概念，在书上和stanford的课程上都有重要介绍；计算图的输入是没有加入节点的，所有的边代表着数值的传输，所有的节点代表着一个运算； 2、关于矩阵梯度的问题。这里Wx=q dq/dW=xT;就在先这么写一次记一次吧； 3、关于python 中的from impor 阅读全文
posted @ 2018-08-20 22:46 loooffeeeey 阅读(76) 评论(0) 推荐(0)
六
摘要：反向传播： 1、更加廉价地求梯度； 2、计算图的使用； 3、书中的这一部分讲得很理论，整体都有点看不懂，不过，从微信公众号上，大概能略微懂一些那个数学过程，但是书中的很理论的数学过程，有点不是很懂。 4、KNN在图像分类上，没有很好的效果； 5、 疑问： 1、书中的这一节，即6.5； 2、adboo 阅读全文
posted @ 2018-08-17 19:30 loooffeeeey 阅读(100) 评论(0) 推荐(0)
五
摘要：架构设计： 1、存在一些函数族，当深度大于等于d时可以被高效地近似，而当深度被限制在小于d的时候，需要一个远大于之前的模型； 2、可以从层i跳到层i+2，这样甚至有利于反馈的进行，梯度更容易从输出层流向接近输入的层； 3、 疑问： 1、上面知识点1的直觉理解； 2、 阅读全文
posted @ 2018-08-15 21:34 loooffeeeey 阅读(82) 评论(0) 推荐(0)
四
摘要：隐藏单元： 1、整流线性单元是隐藏单元极好的默认选择； 2、在实践中，可以放心地忽略掉隐藏层激活函数的不可微性； 3、sigmoid饱和区域过大使得基于梯度的学习变得非常困难，所以现在隐藏单元的激活函数不推荐使用sigmoid； 4、在很多情况下，更深的模型能够减少表示期望函数所需要的单元的数量。 阅读全文
posted @ 2018-08-15 17:41 loooffeeeey 阅读(90) 评论(0) 推荐(0)
三
摘要：svm： 1、SVM是用来解决二分类问题的有监督学习算法，在引入了核方法之后SVM也可以用来解决非线性问题。 2、用于训练逻辑回归或 SVM 的凸优化算法那样保证全局收敛。凸优化从任何一种初始参数出发都会收敛(理论上如此——在实践中也很鲁棒但可能会遇到数值问题)。 前馈神经网络： 1、对于前馈神经网 阅读全文
posted @ 2018-08-14 21:33 loooffeeeey 阅读(122) 评论(1) 推荐(0)
二
摘要：信息熵： 对一个系统，我们到底知道多少信息，再反过来，0，代表着不确定性为零，我们知道系统的所有信息； 累加（概率×log概率的倒数）； 信息熵代表着这个系统的不确定性，熵越大，不确定性就越高； 阅读全文
posted @ 2018-08-10 21:38 loooffeeeey 阅读(84) 评论(0) 推荐(0)
记录一些学习的内容方便学习（一）
摘要：这里是先验概率和后验概率的理解：人工神经网络，是机器学习的一种，其第一件事就是事先给各个神经节点赋予权重，也可以认为，这就是先验概率，而神经网络各节点权重的调整，完全可以看作是用后验概率对先验概率的刷新。 读的文章中的先验，基本上就是凭借经验啊，肉眼啊，去确定一些函数类型，阶啊，之类的； 关于置信区 阅读全文
posted @ 2018-08-09 21:26 loooffeeeey 阅读(131) 评论(2) 推荐(0)