训练数据提取
也叫：Training Data Extraction · 训练样本提取 · 可提取记忆
训练数据提取通过批量查询和筛选，从模型输出中恢复可核实的具体训练内容。
他们说
通过查询模型恢复具体训练样本
老白翻译
让模型把训练时见过的内容原样说出来。
它到底是什么
训练数据提取要求模型输出具体训练内容。攻击者可以在不知道训练集内容的情况下批量生成，再筛选和核实疑似原文。
怎样发生
语言模型学习通用规律时也可能逐字记住部分样本。罕见、重复或格式固定的文本可能更容易被特定提示和采样办法带出来。
常见误解
生成一个像电话号码的字符串不等于提取成功。研究需要确认输出与真实训练样本相同，也要记录查询条件与复现范围。
普通人怎么用
训练前去重并排除密钥、私人通信和客户资料，训练后用已知敏感样本与长尾格式做受控测试，接口侧监测异常批量查询。