zyxxmu

摘要： Global Sparse Momentum SGD for Pruning Very Deep Neural Networks Introduction 这篇论文来自NIPS19，虽然做的是非结构化的剪枝，但是可以直接迁移到结构化剪枝上去做。这篇paper的方法我觉得是非常简单奏效的，作者提出了将 阅读全文

摘要： 本blog多处代码copy自https://blog.csdn.net/TYUT_xiaoming/article/details/102480016，主要记录自己实践中遇到的问题和自己的解决方案，按下面的流程走相信你能快乐地完成该任务~ Step 1 Prepare Yolo v3代码fork f 阅读全文

摘要： Introduction 这篇paper是做Transformer压缩的，但其实bert的核心也就是transformer，这篇paper的实验里也做了bert的压缩。作者的主要工作是提出了 LayerDrop 的方法，即一种结构化的dropout的方法来对transformer模型进行训练，从而在 阅读全文