Medusa
也叫：Medusa Decoding · Medusa多头解码 · 多预测头解码
Medusa 用多个预测头产生后续 Token 候选，并以树注意力并行验证，减少完整模型的解码轮数。
他们说
给大模型增加多个预测头并用树注意力并行验证候选
老白翻译
模型一次猜几步，再把多条候选放在一起验，争取一轮留下多个 Token。
它到底是什么
Medusa 在原模型最后的隐藏状态上增加多个预测头，让它们并行猜测几个未来位置。候选组合成树，由原模型在一次前向计算中验证多条延续。
生活里的例子
代码补全时，预测头同时提出下一行的几个可能片段。原模型一次检查这些分支，接受最长的正确前缀，随后从保留的位置继续生成。
常见误解
- 误解：预测头有四个就能快四倍。 候选接受率和树验证开销会限制加速。
- 误解：它无需训练。 新增预测头需要微调，也可使用原模型生成的数据做自蒸馏。
- 误解：所有接受规则都保持原分布。 放宽接受范围可能提高速度，输出质量需要重新评测。
普通人怎么用
同时记录平均接受 Token 数、每轮验证耗时和任务质量，并按具体模型与任务调整候选树。