知识蒸馏
也叫：Knowledge Distillation · 模型蒸馏 · 教师学生蒸馏
知识蒸馏让学生模型学习教师模型的输出分布或示范数据，以较小模型承担部署，但能力差距需要单独评测。
他们说
使用教师模型的输出训练较小的学生模型
老白翻译
让小模型照着大模型的示范，学会一项较窄的任务。
它到底是什么
知识蒸馏把能力较强的模型当教师，用它的答案、标签或概率分布训练较小的学生模型。训练结束后通常只部署学生。
生活里的例子
大模型先给一批产品留言做分类和评分，小模型学习这些结果，随后负责大量在线分类请求，以减少延迟和计算费用。
常见误解
- 误解：学生会完整复制教师。 小模型容量更低，能力和长尾表现通常会有差距。
- 误解：教师生成的数据天然正确。 错误、偏差和过期口径也可能被学生学走。
- 误解：蒸馏一定比直接用小模型好。 收益取决于任务、数据和训练方法，要和从头训练及原有方案比较。
普通人怎么用
选择边界明确、调用量大的任务，准备独立测试集，并检查教师输出的授权、隐私和偏差。上线前同时测准确率、拒答表现、延迟与费用。