进击的小学生

知者行之始,行者知之成。君子务本,本立而道生。

摘要:[TOC] 博客: "blog.shinelee.me" | "博客园" | "CSDN" 前向传播与反向传播回顾 神经网络的训练过程可以简化成以下步骤, 1. 输入预处理(feature scaling等) 2. 初始化网络weight和bias 3. 前向传播,得到网络输出 4. 计算损失函数, 阅读全文
posted @ 2019-11-07 09:14 shine-lee 阅读 (82) 评论 (0) 编辑
摘要:[TOC] 博客: "blog.shinelee.me" | "博客园" | "CSDN" 写在前面 Feature scaling,常见的提法有“特征归一化”、“标准化”,是数据预处理中的重要技术,有时甚至决定了算法能不能work以及work得好不好。谈到feature scaling的必要性,最 阅读全文
posted @ 2019-11-02 18:27 shine-lee 阅读 (185) 评论 (0) 编辑
摘要:[TOC] 博客: "blog.shinelee.me" | "博客园" | "CSDN" 写在前面 梯度是微积分中的基本概念,也是机器学习解优化问题经常使用的数学工具(梯度下降算法),虽然常说常听常见,但其细节、物理意义以及几何解释还是值得深挖一下,这些不清楚,梯度就成了“熟悉的陌生人”,仅仅“记 阅读全文
posted @ 2019-10-21 17:59 shine-lee 阅读 (474) 评论 (0) 编辑
摘要:[TOC] 博客: "blog.shinelee.me" | "博客园" | "CSDN" 写在前面 如果对Python源码感兴趣,那“窥探”其实现的最佳方式就是调教它,不,调试它。 获取源代码 Python的官方默认实现为CPython,即C语言实现(主要指解释器的实现,其他实现见 "Other 阅读全文
posted @ 2019-10-16 15:28 shine-lee 阅读 (282) 评论 (3) 编辑
摘要:[TOC] 博客: "blog.shinelee.me" | "博客园" | "CSDN" 写在前面 VGG(2014)网络出自paper "《Very Deep Convolutional Networks for Large Scale Image Recognition》" ,为 "ILSVR 阅读全文
posted @ 2019-10-14 20:08 shine-lee 阅读 (107) 评论 (0) 编辑
摘要:[toc] 博客: "blog.shinelee.me" | "博客园" | "CSDN" 写在前面 "《Network in Network》" 简称NIN,出自 "颜水成老师" 团队,首次发表在arxiv的时间为2013年12月,至20190921引用量为2871(google scholar) 阅读全文
posted @ 2019-10-11 17:58 shine-lee 阅读 (114) 评论 (0) 编辑
摘要:[TOC] 博客: "blog.shinelee.me" | "博客园" | "CSDN" 写在前面 ZFNet出自论文 "《 Visualizing and Understanding Convolutional Networks》" ,作者Matthew D. Zeiler和Rob Fergus 阅读全文
posted @ 2019-09-21 15:14 shine-lee 阅读 (202) 评论 (0) 编辑
摘要:[TOC] 博客: "blog.shinelee.me" | "博客园" | "CSDN" 写在前面 开篇先上图,图为 deconvolution 在像素级语义分割中的一种应用,直观感觉deconvolution是一个upsampling的过程,像是convolution的对称过程。 本文将深入de 阅读全文
posted @ 2019-09-20 20:55 shine-lee 阅读 (188) 评论 (0) 编辑
摘要:[TOC] 博客: "blog.shinelee.me" | "博客园" | "CSDN" 写在前面 本文重点在于回顾深度神经网络在CV领域的 First Blood —— AlexNet ,AlexNet是首个在大规模图像识别问题取得突破性进展的深度神经网络,相比基于SIFT+FVs、稀疏编码的传 阅读全文
posted @ 2019-09-10 12:05 shine-lee 阅读 (143) 评论 (0) 编辑
摘要:深度神经网络繁多,各自的性能指标怎样? 实际应用中,在速度、内存、准确率等各种约束下,应该尝试哪些模型作为backbone? 有paper对各个网络模型进行了对比分析,形成了一个看待所有主要模型的完整视角,其分析结果可以在实践中提供指导和帮助。 这篇博客主要整合了其中3篇文章的结论,分别是 1. " 阅读全文
posted @ 2019-08-28 19:53 shine-lee 阅读 (377) 评论 (0) 编辑
摘要:博客: "blog.shinelee.me" | "博客园" | "CSDN" [toc] 写在前面 2D图像常见的坐标变换如下图所示: 这篇文章不包含 透视变换 (projective/perspective transformation),而将重点放在 仿射变换 (affine transfor 阅读全文
posted @ 2019-05-30 17:37 shine-lee 阅读 (3033) 评论 (4) 编辑
摘要:博客: "blog.shinelee.me" | "博客园" | "CSDN" B站上传字幕时,如果srt文件中出现如下空行,则会报错,仅上传了空行前的部分 于是写了个python脚本,如下: 解析srt文本,对象化为 ,判断当前字幕的文本是不是空串,如果是空串,变为空格,再保存文件。 这样上传字幕 阅读全文
posted @ 2019-05-23 14:01 shine-lee 阅读 (96) 评论 (0) 编辑
摘要:[toc] 博客: "blog.shinelee.me" | "博客园" | "CSDN" 写在前面 随便翻一翻流行的推理框架(加速器),如 "NCNN" 、 "NNPACK" 等,可以看到,对于卷积层,大家不约而同地采用了Winograd快速卷积算法,该算法出自CVPR 2016的一篇 paper 阅读全文
posted @ 2019-05-22 16:08 shine-lee 阅读 (5043) 评论 (1) 编辑
摘要:[TOC] 博客: "blog.shinelee.me" | "博客园" | "CSDN" im2col实现 如何将卷积运算转为矩阵相乘?直接看下面这张图,以下图片来自论文 "High Performance Convolutional Neural Networks for Document Pr 阅读全文
posted @ 2019-04-26 18:04 shine-lee 阅读 (2203) 评论 (0) 编辑
摘要:博客: "blog.shinelee.me" | "博客园" | "CSDN" [TOC] 这篇文章中,我们将定义一个相对复杂的数据结构,直接分析其序列化后的二进制文件。 Proto文件 编写addressbook.proto文件,在官方例子上略作修改,增加了 字段,以分析浮点数的存储方式。 生成编 阅读全文
posted @ 2019-04-20 17:36 shine-lee 阅读 (448) 评论 (0) 编辑
摘要:博客: "blog.shinelee.me" | "博客园" | "CSDN" [toc] Message Structure 在上一篇文章中我们提到,对于序列化后字节流,需要回答的一个重要问题是“ 从哪里到哪里是哪个数据成员 ”。 message中每一个field的格式为: 在序列化时,一个fie 阅读全文
posted @ 2019-04-16 15:35 shine-lee 阅读 (561) 评论 (0) 编辑
摘要:博客: "blog.shinelee.me" | "博客园" | "CSDN" [toc] Protocol Buffers docs:https://developers.google.com/protocol buffers/docs/overview github:https://github 阅读全文
posted @ 2019-04-13 16:50 shine-lee 阅读 (924) 评论 (0) 编辑
摘要:博客: "blog.shinelee.me" | "博客园" | "CSDN" [toc] 写在前面 paper:https://arxiv.org/abs/1809.02165 github:https://github.com/hoya012/deep_learning_object_detec 阅读全文
posted @ 2019-02-14 18:22 shine-lee 阅读 (1879) 评论 (1) 编辑
摘要:映射 是一种对应关系。 函数 是一种映射,将变量间的关系形式化为数学描述。 令$y = f(x)$,即$y$是$x$的函数,可以是$y = 2x + 1$,也可以是$y = sin(x)$。$x$的变化将引起$y$的变化,$x$的变化量$\triangle x$导致$y$变化$\triangle y 阅读全文
posted @ 2019-01-26 18:35 shine-lee 阅读 (611) 评论 (0) 编辑
摘要:博客: "blog.shinelee.me" | "博客园" | "CSDN" [toc] 写在前面 Group Convolution分组卷积 ,最早见于AlexNet——2012年Imagenet的冠军方法,Group Convolution被用来切分网络,使其在2个GPU上并行运行,AlexN 阅读全文
posted @ 2019-01-09 11:02 shine-lee 阅读 (8232) 评论 (4) 编辑