模型汤
也叫：Model Soups · Model Soup · 权重平均模型
模型汤把多个同源微调模型的权重平均成单个模型，常见做法包括均匀模型汤和按验证结果选择的贪心模型汤。
他们说
平均同一预训练初始化得到的多个微调模型权重
老白翻译
把几份兼容的微调权重合成一份新模型，部署时只运行这一份。
它到底是什么
模型汤是一种权重平均方法。多个候选从同一预训练模型出发，以不同超参数微调，再把兼容位置的权重合成一份。
两种常见做法
均匀模型汤平均全部候选。贪心模型汤按验证集表现尝试加入候选，只保留不会让验证结果变差的组合。
常见误解
模型汤与推理时同时运行多个模型的集成不同。它最终只运行一份权重，但前面的多次微调、权重保存和验证工作仍然存在。
普通人怎么用
确认候选拥有相同基础结构，比较最佳单模型、均匀汤和贪心汤，并用未参与挑选的测试题复核旧能力与目标任务。