摘要:上一篇文章介绍了如何把 BatchNorm 和 ReLU 合并到 Conv 中,这篇文章会介绍具体的代码实现。本文相关代码都可以在 github 上找到。 Folding BN 回顾一下前文把 BN 合并到 Conv 中的公式: \[ \begin{align} y_{bn}&=\frac{\gam 阅读全文
posted @ 2020-08-27 23:27 jermmyhsu 阅读(199) 评论(0) 推荐(0) 编辑
摘要:上一篇文章介绍了量化训练的基本流程,本文介绍量化中如何把 BatchNorm 和 ReLU 合并到 Conv 中。 Folding BatchNorm BatchNorm 是 Google 提出的一种加速神经网络训练的技术,在很多网络中基本是标配。 回忆一下,BatchNorm 其实就是在每一层输出 阅读全文
posted @ 2020-08-15 12:53 jermmyhsu 阅读(306) 评论(0) 推荐(0) 编辑
摘要:上一篇文章介绍了后训练量化的基本流程,并用 pytorch 演示了最简单的后训练量化算法。 后训练量化虽然操作简单,并且大部分推理框架都提供了这类离线量化算法 (如 tensorrt、ncnn,SNPE 等),但有时候这种方法并不能保证足够的精度,因此本文介绍另一种比后训练量化更有效地量化方法——量 阅读全文
posted @ 2020-07-11 21:09 jermmyhsu 阅读(1317) 评论(0) 推荐(0) 编辑
摘要:上一篇文章介绍了矩阵量化的基本原理,并推广到卷积网络中。这一章开始,我会逐步深入到卷积网络的量化细节中,并用 pytorch 从零搭建一个量化模型,帮助读者实际感受量化的具体流程。 本章中,我们来具体学习最简单的量化方法——后训练量化「post training quantization」 由于本人 阅读全文
posted @ 2020-07-05 22:08 jermmyhsu 阅读(1032) 评论(0) 推荐(0) 编辑
摘要:最近打算写一个关于神经网络量化的入门教程,包括网络量化的基本原理、离线量化、量化训练,以及全量化模型的推理过程,最后我会用 pytorch 从零构建一个量化模型,帮助读者形成更深刻的理解。 之所以要写这系列教程,主要是想帮助初次接触量化的同学快速入门。笔者在刚开始接触模型量化时走了很多弯路,并且发现 阅读全文
posted @ 2020-06-20 16:42 jermmyhsu 阅读(821) 评论(0) 推荐(1) 编辑
摘要:这一个月来一直在研究计算机美学 (photo aesthetic) 的课题,因为有一个需求是帮助用户筛选出一些拍的比较好的图片。这段时间陆陆续续看了很多相关的文章,也一直在思考这个问题:让计算机来对图片进行审美,到底有没有可能?毕竟审美是一件很主观的事情,美的定义本身也不清晰,让需要明确指令的计算机 阅读全文
posted @ 2019-11-09 11:08 jermmyhsu 阅读(1197) 评论(0) 推荐(0) 编辑
摘要:今天要聊聊用 PyTorch 进行 C++ 扩展。 在正式开始前,我们需要了解 PyTorch 如何自定义module。这其中,最常见的就是在 python 中继承torch.nn.Module,用 PyTorch 中已有的 operator 来组装成自己的模块。这种方式实现简单,但是,计算效率却未 阅读全文
posted @ 2019-06-02 14:57 jermmyhsu 阅读(6296) 评论(0) 推荐(2) 编辑
摘要:之前在一次组会上,师弟诉苦说他用 UNet 处理一个病灶分割的任务,但效果极差,我看了他的数据后发现,那些病灶区域比起整张图而言非常的小,而 UNet 采用的损失函数通常是逐像素的分类损失,如此一来,网络只要能够分割出大部分背景,那么 loss 的值就可以下降很多,自然无法精细地分割出那些细小的病灶 阅读全文
posted @ 2019-04-28 16:35 jermmyhsu 阅读(1084) 评论(0) 推荐(0) 编辑
摘要:曾经,为了处理一些序列相关的数据,我稍微了解了一点递归网络 (RNN) 的东西。由于当时只会 tensorflow,就从官网上找了一些 tensorflow 相关的 demo,中间陆陆续续折腾了两个多星期,才对 squence to sequence,sequence classification 阅读全文
posted @ 2018-11-26 14:55 jermmyhsu 阅读(2808) 评论(4) 推荐(0) 编辑
摘要:这篇论文主要是讲人脸修复的,所谓人脸修复,其实就是将低清的,或者经过压缩等操作的人脸图像进行高清复原。这可以近似为针对人脸的图像修复工作。在图像修复中,我们都会假设退化的图像是高清图像经过某种函数映射后得到的(比如,由高清图像得到一张模糊的图像可能是使用了高斯模糊核),因此,图像修复的本质就是把这个 阅读全文
posted @ 2018-10-05 22:05 jermmyhsu 阅读(408) 评论(4) 推荐(0) 编辑