摘要：蒸馏实战小实验 本实验相关代码已开源至github 失败经历 爱爱医数据蒸馏Qwen2.5-7B 1.用爬虫在爱爱医网站爬取1k条数据。（刚学一点爬虫，不会越过验证码，还是自己一次一次验证😅） 2.数据格式预处理，例如： { "instruction": "你需要基于我提供的患者病历，推理并生成完 阅读全文

摘要：一文读懂知识蒸馏 一句话解释：知识蒸馏是一种模型压缩技术（model compression technique），通过让小模型（学生模型）学习大模型（教师模型）的输出或中间表示，以在保持精度的同时减少计算量和存储需求。 传统意义上的知识蒸馏 背景知识及总览 Bucilua等人（2006年）首次提出 阅读全文