随笔分类 - 深度学习基础
basic structures basic concepts
摘要：[TOC] 博客： "博客园" | "CSDN" | "blog" 什么是感受野 The receptive field is defined as the region in the input space that a particular CNN’s feature is looking at
阅读全文
摘要：[TOC] 博客： "blog.shinelee.me" | "博客园" | "CSDN" 交叉熵损失与均方误差损失 常规分类网络最后的softmax层如下图所示，传统机器学习方法以此类比， 一共有$K$类，令网络的输出为$[\hat{y}_1,\dots, \hat{y}_K]$，对应每个类别的概
阅读全文
摘要：[TOC] 博客： "blog.shinelee.me" | "博客园" | "CSDN" 动机 在博文《 为什么要做特征归一化/标准化？ "博客园" | "csdn" | "blog" 》中，我们介绍了对输入进行Standardization后，梯度下降算法更容易选择到合适的（较大的）学习率，下降
阅读全文
摘要：[TOC] 博客： "blog.shinelee.me" | "博客园" | "CSDN" 权重初始化最佳实践 书接上回，全0、常数、过大、过小的权重初始化都是不好的，那我们需要什么样的初始化？ 因为对权重$w$的大小和正负缺乏先验，所以应初始化 在0附近 ，但不能为全0或常数，所以要有一定的 随机
阅读全文
摘要：[TOC] 博客： "blog.shinelee.me" | "博客园" | "CSDN" 前向传播与反向传播回顾 神经网络的训练过程可以简化成以下步骤， 1. 输入预处理（feature scaling等） 2. 初始化网络weight和bias 3. 前向传播，得到网络输出 4. 计算损失函数，
阅读全文
摘要：博客：blog.shinelee.me | 博客园 | CSDN 写在前面 开篇先上图，图为deconvolution在像素级语义分割中的一种应用，直观感觉deconvolution是一个upsampling的过程，像是convolution的对称过程。 本文将深入deconvolution的细节，
阅读全文
摘要：[toc] 博客： "blog.shinelee.me" | "博客园" | "CSDN" 写在前面 随便翻一翻流行的推理框架（加速器），如 "NCNN" 、 "NNPACK" 等，可以看到，对于卷积层，大家不约而同地采用了Winograd快速卷积算法，该算法出自CVPR 2016的一篇 paper
阅读全文
摘要：[TOC] 博客： "blog.shinelee.me" | "博客园" | "CSDN" im2col实现 如何将卷积运算转为矩阵相乘？直接看下面这张图，以下图片来自论文 "High Performance Convolutional Neural Networks for Document Pr
阅读全文
摘要：博客： "blog.shinelee.me" | "博客园" | "CSDN" [toc] 写在前面 Group Convolution分组卷积 ，最早见于AlexNet——2012年Imagenet的冠军方法，Group Convolution被用来切分网络，使其在2个GPU上并行运行，AlexN
阅读全文
摘要：博客： "blog.shinelee.me" | "博客园" | "CSDN" [toc] 写在前面 这篇文章将从3个角度： 加权 、 模版匹配 与 几何 来理解最后一层全连接+Softmax。掌握了这3种视角，可以更好地理解深度学习中的正则项、参数可视化以及一些损失函数背后的设计思想。 全连接层与
阅读全文
摘要：博客： "blog.shinelee.me" | "博客园" | "CSDN" 写在前面 论文状态：Published in CVIU Volume 161 Issue C, August 2017 论文地址：https://arxiv.org/abs/1606.02228 github地址：htt
阅读全文
摘要：博客：blog.shinelee.me | 博客园 | CSDN 卷积运算与相关运算 在计算机视觉领域，卷积核、滤波器通常为较小尺寸的矩阵，比如$3\times3$、$5\times5$等，数字图像是相对较大尺寸的2维（多维）矩阵（张量），图像卷积运算与相关运算的关系如下图所示（图片来自链接），其中
阅读全文