01 2024 档案

从零开始知识蒸馏（自用版）
摘要：一、什么是知识蒸馏，为什么要使用知识蒸馏？ 知识蒸馏是一种将预先训练的教师网络的知识转移到学生网络的方法，使小型网络可以在网络部署阶段取代大型教师网络。知识蒸馏的概念最初是由Hinton等人提出的，已广泛应用于各个领域和任务。知识蒸馏的基本原理是通过训练一个更小、更轻量级的模型来学习更大、更复杂的模 阅读全文
posted @ 2024-01-24 14:00 ninisong 阅读(745) 评论(0) 推荐(0)