Fork me on GitHub
2021年8月27日
pytorch之对预训练的bert进行剪枝
摘要： 大体过程 对层数进行剪枝 1、加载预训练的模型； 2、提取所需要层的权重，并对其进行重命名。比如我们想要第0层和第11层的权重，那么需要将第11层的权重保留下来并且重命名为第1层的名字； 3、更改模型配置文件（保留几层就是几），并且将第11层的权重赋值给第1层； 4、保存模型为pytorch_mod 阅读全文
posted @ 2021-08-27 14:31 西西嘛呦 阅读(1443) 评论(0) 推荐(0)