摘要： PyTorch的输入输出格式为： keras的输入输出格式为： input(N,C-in,H-in,W-in) input(N,H-in,W-in,C-in) output(N,C-out,H-out,W-out) output(N,H-out,W-out,C-out) 其中：N是batch的大小， 阅读全文

摘要： Python中的变量都是对象，是对地址和内存的抽象。可以把变量当成“指针”来理解，变量存的是值的地址，不是变量本身。 举个例子： a = 2 变量 a 里面真实存的是2在内存中的地址，而不是2这个数值。 有了这个认识我们看一些程序： 1、很好理解，a = 2,b=a, b自然就等于2 2、a = 3 阅读全文

摘要： 最初目的：搞清楚网络深度与模型的识别精度和准确率之间的关系。 获得的结果：不能无限制的加深网络，在网络加深到一定层数之后就会出现训练效果褪化、梯度消逝或者梯度爆炸等问题。 主要的贡献： 1、提出用多层3 x 3的卷积层来替换大尺寸的卷积核，从而提升网络深度。例如两个3x3大小的卷积核可以等效于一个5 阅读全文

摘要： 一、self总是指向调用时的类的实例。 eg: class Test: def Print(self, data): print(data) T= Test() T.Print(abc) >>>abc 其实t.Print()在执行过程中被翻译成Test.Print(T, abc) 二、对数据的一种绑 阅读全文

摘要： 在训练过程中，有时候会遇到训练准确率一直在0.63左右的问题。可能出现在训练了好几个epoch之后，可能一开始就出现并且一直上下浮动。这个时候 解决的途径有以下几点：1、确保数据集没问题。2、调整学习率或者其他参数。3、更换优化器。4、更改初始化方法。5、调整网络结构。 阅读全文

摘要： 很多时候，自己建好了模型，刚开始运行时，有时候发现loss值很大，有时候loss又很小，很大的时候，要训练很久。那么最开始的loss值是多少才合适呢？ 如果你是使用的Softmax分类器，我们预测应该可以拿到值为2.302左右的初始loss(因为10个类别，初始概率应该都未0.1， Softmax损 阅读全文

摘要： 造成梯度爆炸的原因是求导得到的值大于1，造成导数很大，损失函数的值沿着梯度的方向呈下降趋势，然而，如果梯度（偏导数）很大话，就会出现函数值跳来跳去，收敛不到最小值。这个时候可以用梯度裁剪来解决问题。 梯度裁剪：对梯度进行裁剪，论文提出对梯度的L2范数进行裁剪，也就是所有参数偏导数的平方和再开方。主要 阅读全文

摘要： 先讲一下是怎么卷积的。一般输入的是RGB颜色空间的图片，即有三个通道。可以理解为这三个通道的每个对应的数值组合在一起表示了这一张图片。 卷积操作过程：（通道数变化的原理） 先从一张示意图说起，卷积基础概念和操作步骤就不啰嗦了，只讲这张图，大意就是，有in-channel，有out-channel，你 阅读全文

摘要： train loss与test loss结果分析： train loss 不断下降，test loss不断下降，说明网络仍在学习; train loss 不断下降，test loss趋于不变，说明网络过拟合; train loss 趋于不变，test loss不断下降，说明数据集100%有问题; t 阅读全文

摘要： summary是TensorFlow可视化的工具，主要用到以下函数： 1、tf.summary.scalar() 2、 tf.summary.merge_all() 3、tf.summary.FileWriter() tf.summary.scalar('loss', loss) ## 用来搜集 l 阅读全文