置信度校准
也叫：Confidence Calibration · 概率校准 · 模型校准
置信度校准衡量预测概率与实际正确率是否相符，需要和准确率、区分能力分开检查。
他们说
让模型预测概率与真实正确概率相符
老白翻译
模型报八成把握的一批结果，应该大约八成正确。
它到底是什么
置信度校准检查模型给出的概率能否代表真实正确率。模型若把一批结果都报成 80%，这批结果应当大约有 80% 正确。
怎样检查
把预测按置信度分桶，比较每桶平均概率和实际正确率。可靠性图、每桶样本数与预期校准误差可以一起看。
常见误解
校准良好不等于准确率高。大模型口头说出的概率也不等于内部概率，需要在具体任务上单独验证。
普通人怎么用
先用答案已核准的样本画校准曲线，再依据错误成本设置自动处理和转人工的阈值。数据分布改变以后重新校准。