loooffeeeey

摘要： 1\ GLM of statsmodels , cause some 'DLASCL ****invalid parameter 4 *** entry ***', just because the statsmodels version, downgrade 0.9.0 ->0.8.0 will 阅读全文

摘要： 1、with torch.no_grad():可以用来节省内存，在不需要反向传播的时候，特别是evaluate net的时候，这个时候的net因为 是train过的，所以是requires_grad=True，如果为了节省内存，忽略里面存的梯度和计算图什么的，就可以使用这个； 2、model_cop 阅读全文

摘要： 在构建计算图的时候，规定好在哪个设备上跑 #create a graph. with tf.device('/gpu:2'): a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], name = 'a' ) b = tf.constant([1.0, 2.0 阅读全文

摘要： inception cnn 是为了让卷积去识别在图片中尺寸变化较大的目标，因为，卷积去寻找目标的时候，同一种尺寸的卷积只能识别相应大小的目标； 如果使用多层的卷积层，那么计算昂贵，还会导致 梯度衰败和爆炸； 如果在一层使用多种尺寸的卷积，那么这样就可以让网络自己去学习，到底应该使用什么样的尺寸，这样 阅读全文

摘要： detectionand segmentation localization； 1、 疑问： 1、transpose convolution; 2、R-CNN; 3、 阅读全文

摘要： 循环神经网络： 1、LSTM 2、 疑问： 1、LSTM有点复杂，没有彻底搞明白； 2、 阅读全文

摘要： cutting edge CNN architectures: 1、pooling preserce the depth; and have no parameters; 2、 疑问： 1、不太懂残差网络； 2、 阅读全文

摘要： Nesterov Momentum 这里指的是优化训练的算法: 1、为了防止局部最小值，非凸函数的那种，加一个冲量，让梯度下降有一个累计，可能会由于冲量，直接冲出局部最小值的鞍点部分； 2、adam 算法是一个好东西； 3、使学习率迭代次数或者时间衰变； 4、牛顿法是梯度下降的进一步发展，不仅仅考虑 阅读全文

摘要： 计算图： 1、计算图应该是一个重要概念，在书上和stanford的课程上都有重要介绍；计算图的输入是没有加入节点的，所有的边代表着数值的传输，所有的节点代表着一个运算； 2、关于矩阵梯度的问题。这里Wx=q dq/dW=xT;就在先这么写一次记一次吧； 3、关于python 中的from impor 阅读全文

摘要： 反向传播： 1、更加廉价地求梯度； 2、计算图的使用； 3、书中的这一部分讲得很理论，整体都有点看不懂，不过，从微信公众号上，大概能略微懂一些那个数学过程，但是书中的很理论的数学过程，有点不是很懂。 4、KNN在图像分类上，没有很好的效果； 5、 疑问： 1、书中的这一节，即6.5； 2、adboo 阅读全文