测试集污染
也叫：Test Set Contamination · Benchmark Contamination · 评测集污染 · 基准污染
测试集污染是评测资料进入模型训练的现象，会使记忆与泛化难以区分，检测结果需要注明方法和范围。
他们说
评测资料进入训练过程，干扰泛化能力评估
老白翻译
拿来验收的题已经参与过学习，分数就难以说明模型遇到新题能做多好。
它到底是什么
测试集污染指评测资料进入了模型训练过程，使测试结果混入对已有资料的记忆。是否发生污染、污染让分数提高多少，以及是否有人故意操作，需要分别寻找证据。
研究怎样检查
一种研究方法比较模型对测试样本原始排列和打乱排列的文本概率。在可交换性等假设成立时，异常偏好原始顺序可能形成污染证据。这需要概率查询，普通聊天回答不能直接替代。
常见误解
得分很高不能单独证明污染，检测没有命中也不能证明所有资料都干净。直接记住测试文本与接触构造题目所用的部分来源，检测难度不同。
普通人怎么用
将开发题和最后验收题分开，保存模型版本与评判标准。已经反复用于改提示词的题应归入开发记录，下次验收补充新的真实任务。