中间丢失
也叫:Lost in the Middle · 长上下文中间丢失 · 长上下文位置偏差
中间丢失指模型处理长上下文时,相关信息位于输入中部的表现常低于位于开头或结尾。
他们说
长上下文模型对相关信息位置表现出明显敏感性
老白翻译
资料装进去了,放在中间位置时仍可能被模型漏掉。
它到底是什么
中间丢失是一种长上下文位置偏差。相同资料放在输入开头、中间或结尾,模型回答表现可能明显不同,中间位置常更容易被忽略。
怎样测
把答案已知的同一段资料分别放在三个位置,保持其他内容不变,再逐项检查回答与引用。上下文长度也要分档改变。
常见误解
上下文窗口能容纳全部文字,只能证明接口接收成功。它不能证明模型对每个位置的内容利用得同样稳定。
普通人怎么用
重要任务准备位置互换测试。检索系统减少无关候选以后,仍要变换候选顺序,避免一次有利摆放掩盖问题。