摘要：原文链接：BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm总结 本篇博客总结几种归一化办法，并给出相应计算公式和代码。1、综述1.1 论文链接1、Batch Normalizationhttps:/ 阅读全文

摘要：公众号SIGAI ：理解Spatial Transformer Networks 两个不理解的地方： 1. Feature map和Feature position的区别是什么？ 2. 双线性插值是怎么实现可导的？ 卷积等变性和池化带来的旋转平移不变性： CNN中的等变性(equivariant)和 阅读全文

摘要：要学的有很多，以后加上自己的理解。 深度神经网络模型压缩和加速总结 阅读全文

摘要：假定： M：每个卷积核输出特征图（Feature Map）的边长 K：每个卷积核（Kernel）的边长 Cin：每个卷积核的通道数，也即输入通道数，也即上一层的输出通道数 Cout：本卷积层具有的卷积核个数，也即输出通道数 可见：每个卷积层的时间复杂度由输出特征图面积M2，卷积核面积K2，输入Cin 阅读全文

摘要：转自：详解softmax函数以及相关求导过程 这几天学习了一下softmax激活函数，以及它的梯度求导过程，整理一下便于分享和交流！ 一、softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！ 假设我们有一个数组，V， 阅读全文

摘要：原文链接：https://www.cnblogs.com/guoyaohua/p/8724433.html 这几天面试经常被问到BN层的原理，虽然回答上来了，但还是感觉答得不是很好，今天仔细研究了一下Batch Normalization的原理，以下为参考网上几篇文章总结得出。 Batch Norm 阅读全文

摘要：原文链接：https://blog.csdn.net/shuzfan/article/details/50580915 可看源码解析：https://blog.csdn.net/lanxueCC/article/details/53319872?locationNum=2&fps=1 本文主要介绍D 阅读全文

摘要：原文链接：https://zhuanlan.zhihu.com/p/40267131 感受野是卷积神经网络里面最重要的概念之一，为了更好地理解卷积神经网络结构，甚至自己设计卷积神经网络，对于感受野的理解必不可少。 一、定义 感受野被定义为卷积神经网络特征所能看到输入图像的区域，换句话说特征输出受感受 阅读全文

摘要：参考博客：https://blog.csdn.net/wanz2/article/details/52770316 https://www.cnblogs.com/TensorSense/p/6260293.html 一、环境准备 windows 10 64位 专业版（非必须） visual stu 阅读全文

摘要：1.非均衡数据集的处理方法 参考链接：https://www.zhihu.com/question/30492527 i) 推荐看一下Haibo He, Edwardo A. Garcia的Learning from Imbalanced Data(据说这篇论文对非均衡数据很赞)这篇paper，写的 阅读全文

摘要：原文链接：https://blog.csdn.net/julialove102123/article/details/78510147 模型的微调 使用别人训练好的网络模型进行训练，前提是必须和别人用同一个网络，因为参数是根据网络而来的。当然最后一层是可以修改的，因为我们的数据可能并没有1000类， 阅读全文

摘要：原文链接：https://www.zhihu.com/collection/172241377 感受野（receptive field）可能是卷积神经网络（Convolutional Neural Network，CNNs）中最重要的概念之一，值得我们关注和学习。当前流行的物体识别方法的架构大都围绕 阅读全文

摘要：1.ubuntu16.04 cuda8.0 caffe 编译时遇到 caffe fatal error: cublas_v2.h 没有那个文件或目录 make caffe的过程中碰过 ./include/caffe/util/device_alternate.hpp:34:23: fatal err 阅读全文

摘要：首先举个栗子，看个简单的卷积操作： 4x4的输入，卷积Kernel为3x3, 没有Padding和Stride, 则输出为2x2。 输入矩阵可展开为16维向量，记作输出矩阵可展开为4维向量，记作卷积运算可表示为 不难想象其实就是如下的稀疏阵: 简单说运算过程就是 = （4*16）*（16*1）=（4 阅读全文

摘要：1.mnist： MNIST是一个手写数字数据库，它有60000个训练样本集和10000个测试样本集，每个样本图像的宽高为28*28。此数据集是以二进制存储的，不能直接以图像格式查看，不过很容易找到将其转换成图像格式的工具。 下载链接：http://yann.lecun.com/exdb/mnist 阅读全文

摘要：关于超参数学习率lr的设置问题，对训练效果影响是非常大的，下面记录一下关于学习率设置的trick。 1.learning_rate的问题，若在用step policy，下面这四个参数，都需要调一下 其中，gamma值越大，意味着lr递减速度越慢。同时，stepsize的大小跟你的batch_size 阅读全文

摘要：1.caffe读入彩色图像和灰度单通道图像问题 在caffe中，若读入的图像为三通道，则需要进行通道维度转换： 若读入的图像为灰度单通道图，则需要把上面代码注释，并 2.caffe的权值初始化问题 Q：想要用A网络训练的卷积层的 net.params初始化另一个我要训练的B网络，怎么做？ A：这个有 阅读全文

摘要：1.caffe中的solver.prototxt的参数理解（详细请转到https://www.cnblogs.com/denny402/p/5074049.html） 下面对其中的参数进行解释： 这个要与test layer中的batch_size结合起来理解。mnist数据中测试样本总数为1000 阅读全文

摘要：一、回归与分类 线性回归：https://www.cnblogs.com/futurehau/p/6105011.html 逻辑回归： SVM： 二、 阅读全文

摘要：一、激活函数 链接：资源 | 从ReLU到Sinc，26种神经网络激活函数可视化 https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650731769&idx=4&sn=c323c6edc5db4275b47a8d3e115d5447&ch 阅读全文