摘要:博客: "博客园" | "CSDN" | "blog" 写在前面 如题,这篇文章将尝试从卷积拆分的角度看一看各种经典CNN backbone网络module是如何演进的,为了视角的统一,仅分析单条路径上的卷积形式。 形式化 方便起见,对常规卷积操作,做如下定义, $I$:输入尺寸,长$H$ 宽$W$ 阅读全文
posted @ 2020-05-14 20:42 shine-lee 阅读(215) 评论(0) 推荐(1) 编辑
摘要:博客: "博客园" | "CSDN" | "blog" [TOC] 写在前面 Inception 家族成员:Inception V1(GoogLeNet)、BN Inception、Inception V2、Inception V3、Inception ResNet V1、Inception V4、 阅读全文
posted @ 2020-04-03 20:50 shine-lee 阅读(322) 评论(0) 推荐(1) 编辑
摘要:[TOC] 博客: "博客园" | "CSDN" | "blog" 写在前面 在博客《ResNet详解与分析》中,我们谈到ResNet不同层之间的信息流通隐含在“和”中,所以从信息流通的角度看并不彻底, 相比ResNet,DenseNet最大的不同之处在于,并不对feature map求elemen 阅读全文
posted @ 2020-02-28 21:57 shine-lee 阅读(308) 评论(2) 推荐(2) 编辑
摘要:[TOC] 博客: "博客园" | "CSDN" | "blog" Resnet要解决的是什么问题 ResNets要解决的是深度神经网络的“退化”问题。 什么是“退化”? 我们知道,对浅层网络逐渐叠加layers,模型在训练集和测试集上的性能会变好,因为模型复杂度更高了,表达能力更强了,可以对潜在的 阅读全文
posted @ 2020-02-25 20:03 shine-lee 阅读(3349) 评论(0) 推荐(4) 编辑
摘要:博客: "博客园" | "CSDN" | "blog" [TOC] 本文的主要目的在于理解 的内存结构及其背后的设计哲学。 ndarray是什么 NumPy provides an N dimensional array type, the "ndarray" , which describes a 阅读全文
posted @ 2020-02-10 22:14 shine-lee 阅读(622) 评论(0) 推荐(2) 编辑
摘要:博客: "博客园" | "CSDN" | "blog" python中一般并不需要查看内存内容,但作为从C/C++过来的人,有的时候还是想看看内存,有时是为了验证内容是否与预期一致,有时是为了探究下内存布局。 用于获取对象占用的内存大小, 用于获取指定地址、指定字节长度的内容,因为返回的对象类型是 阅读全文
posted @ 2020-02-09 13:02 shine-lee 阅读(1453) 评论(0) 推荐(1) 编辑
摘要:[TOC] 博客: "博客园" | "CSDN" | "blog" 写在前面 在计算机视觉中, 滤波 ( filtering )是指 Image filtering : compute function of local neighborhood at each position. —— from 阅读全文
posted @ 2020-02-04 20:59 shine-lee 阅读(331) 评论(0) 推荐(0) 编辑
摘要:博客: "博客园" | "CSDN" | "blog" 先上图,下图通过输入输出来区分不同学科。 计算机视觉 ( Computer Vision , CV ),输入为图像或图像序列,输出为某种信息或描述, 目的在于理解图像,获得语义信息 。比如目标识别任务,输入一张图片,输出图中有哪些物体、都在什么 阅读全文
posted @ 2020-01-31 18:58 shine-lee 阅读(293) 评论(2) 推荐(0) 编辑
摘要:[TOC] 博客: "博客园" | "CSDN" | "blog" 什么是感受野 The receptive field is defined as the region in the input space that a particular CNN’s feature is looking at 阅读全文
posted @ 2019-12-19 17:47 shine-lee 阅读(3726) 评论(3) 推荐(6) 编辑
摘要:博客: "博客园" | "CSDN" | "blog" 远程桌面打开MATLAB会报错,解决办法,打开matlab的licenses路径,如 ,路径下存有license文件,如 (可能为其他名字),打开文件,在每行如下位置添加 。 行数较多,可通过执行如下 脚本自动添加, 注意,执行前先备份 再远程 阅读全文
posted @ 2019-12-14 16:06 shine-lee 阅读(176) 评论(0) 推荐(0) 编辑
摘要:[TOC] 博客: "blog.shinelee.me" | "博客园" | "CSDN" 交叉熵损失与均方误差损失 常规分类网络最后的softmax层如下图所示,传统机器学习方法以此类比, 一共有$K$类,令网络的输出为$[\hat{y}_1,\dots, \hat{y}_K]$,对应每个类别的概 阅读全文
posted @ 2019-12-12 22:26 shine-lee 阅读(1647) 评论(0) 推荐(2) 编辑
摘要:[TOC] 博客: "blog.shinelee.me" | "博客园" | "CSDN" 动机 在博文《 为什么要做特征归一化/标准化? "博客园" | "csdn" | "blog" 》中,我们介绍了对输入进行Standardization后,梯度下降算法更容易选择到合适的(较大的)学习率,下降 阅读全文
posted @ 2019-12-05 15:20 shine-lee 阅读(1691) 评论(1) 推荐(4) 编辑
摘要:[TOC] 博客: "blog.shinelee.me" | "博客园" | "CSDN" 时间复杂度 如何评估一个算法的计算时间? 一个算法的 实际运行时间很难评估 ,当时的输入、CPU主频、内存、数据传输速度、是否有其他程序在抢占资源等等,这些因素都会影响算法的实际运行时间。为了公平地对比不同算 阅读全文
posted @ 2019-11-22 18:15 shine-lee 阅读(820) 评论(0) 推荐(1) 编辑
摘要:[TOC] 博客: "blog.shinelee.me" | "博客园" | "CSDN" 权重初始化最佳实践 书接上回,全0、常数、过大、过小的权重初始化都是不好的,那我们需要什么样的初始化? 因为对权重$w$的大小和正负缺乏先验,所以应初始化 在0附近 ,但不能为全0或常数,所以要有一定的 随机 阅读全文
posted @ 2019-11-21 21:42 shine-lee 阅读(2054) 评论(1) 推荐(5) 编辑
摘要:[TOC] 博客: "blog.shinelee.me" | "博客园" | "CSDN" 前向传播与反向传播回顾 神经网络的训练过程可以简化成以下步骤, 1. 输入预处理(feature scaling等) 2. 初始化网络weight和bias 3. 前向传播,得到网络输出 4. 计算损失函数, 阅读全文
posted @ 2019-11-07 09:14 shine-lee 阅读(1128) 评论(3) 推荐(3) 编辑
摘要:[TOC] 博客: "blog.shinelee.me" | "博客园" | "CSDN" 写在前面 Feature scaling,常见的提法有“特征归一化”、“标准化”,是数据预处理中的重要技术,有时甚至决定了算法能不能work以及work得好不好。谈到feature scaling的必要性,最 阅读全文
posted @ 2019-11-02 18:27 shine-lee 阅读(4658) 评论(4) 推荐(7) 编辑
摘要:[TOC] 博客: "blog.shinelee.me" | "博客园" | "CSDN" 写在前面 梯度是微积分中的基本概念,也是机器学习解优化问题经常使用的数学工具(梯度下降算法),虽然常说常听常见,但其细节、物理意义以及几何解释还是值得深挖一下,这些不清楚,梯度就成了“熟悉的陌生人”,仅仅“记 阅读全文
posted @ 2019-10-21 17:59 shine-lee 阅读(6444) 评论(2) 推荐(12) 编辑
摘要:[TOC] 博客: "blog.shinelee.me" | "博客园" | "CSDN" 写在前面 如果对Python源码感兴趣,那“窥探”其实现的最佳方式就是调教它,不,调试它。 获取源代码 Python的官方默认实现为CPython,即C语言实现(主要指解释器的实现,其他实现见 "Other 阅读全文
posted @ 2019-10-16 15:28 shine-lee 阅读(1036) 评论(3) 推荐(9) 编辑
摘要:[TOC] 博客: "blog.shinelee.me" | "博客园" | "CSDN" 写在前面 VGG(2014)网络出自paper "《Very Deep Convolutional Networks for Large Scale Image Recognition》" ,为 "ILSVR 阅读全文
posted @ 2019-10-14 20:08 shine-lee 阅读(593) 评论(0) 推荐(1) 编辑
摘要:[toc] 博客: "blog.shinelee.me" | "博客园" | "CSDN" 写在前面 "《Network in Network》" 简称NIN,出自 "颜水成老师" 团队,首次发表在arxiv的时间为2013年12月,至20190921引用量为2871(google scholar) 阅读全文
posted @ 2019-10-11 17:58 shine-lee 阅读(389) 评论(0) 推荐(1) 编辑