LLM评审
也叫：LLM-as-a-Judge · 大模型评审 · 模型裁判
LLM评审用大模型评价生成内容，适合扩大开放题评测规模，但需要校准位置、长度和自我偏好。
他们说
使用大语言模型对生成结果进行成对比较、单项评分或参考答案引导的评价
老白翻译
让一个模型当裁判，按标准给另一份回答打分或选优。
它到底是什么
LLM 评审让一个大模型按照给定标准评价另一份生成结果。常见方式包括两两比较、单份答案评分，以及提供参考答案后的判断。
生活里的例子
团队改了客服提示词，可以让评审模型先比较新旧两批回答，再把分歧和高风险样本交给业务人员复核。
常见误解
- 误解：评审模型给分就是客观结果。 模型可能受答案顺序、长度和自身系列影响。
- 误解：所有检查都该用模型。 格式、字段和确定答案优先用程序规则。
- 误解：校准一次就能长期使用。 更换任务、模型或评分提示后都要重跑人工样本。
普通人怎么用
先做一小批人工判好的答案，比较模型评审的一致率，并为冲突结果保留人工复核。