影醉阏轩窗

衣带渐宽终不悔，为伊消得人憔悴。
扩大
缩小

随笔分类 -  网络优化

HRank模型剪枝
摘要：HRank: Filter Pruning using High-Rank Feature Map 概述 这篇文章非常简单，直接使用每层的 \(feature\) 结果去判断 \(filter-kernel\) 的重要程度： 上图展示了网络每一层的特征重要程度分布情况，如何确定重要性？ \[ \be 阅读全文

posted @ 2021-03-29 15:04 影醉阏轩窗 阅读(637) 评论(0) 推荐(0)

Constrast Learnning
摘要：Constrast Learnning 一. 概念简介 有一篇英文说得很好： 英文版 中文翻译 queue 一个队列，用于存放负样本 使用立马拿出来，效率高 可以设置的非常大，数量大（对比学习需要大量负样本，这点最重要） MOCO使用了动态的方式（总数设置固定值，每次iteration传入一个bat 阅读全文

posted @ 2021-01-08 19:36 影醉阏轩窗 阅读(421) 评论(0) 推荐(0)

知识蒸馏
摘要：知识蒸馏 一. Distilling the Knowledge in a Neural Network 知识蒸馏的开端之作，简单叙述蒸馏过程： 先训练一个大网络，比如Resnet50用于分类任务 搭建一个小网络训练结构，比如mobilenetV2 训练小网络的同时推理大网络，大网络的结果去指导小网 阅读全文

posted @ 2020-12-16 21:10 影醉阏轩窗 阅读(647) 评论(0) 推荐(0)

模型剪枝
摘要：模型剪枝 一. 基础回顾 首先回顾一下卷积的过程，输入：\(x=[16,3,224,224]\)，卷积核：\(k=[in\_chs=3,out\_chs=12,strides=1,kernel=1...]\)，输出；\(y=[16,12,224,224]\)。对于剪枝（通道剪枝）而言，修剪的是 \( 阅读全文

posted @ 2020-12-16 11:29 影醉阏轩窗 阅读(650) 评论(0) 推荐(0)

导航

/* 线条鼠标集合 */ /* 鼠标点击求赞文字特效 */ //带头像评论