后期交互
也叫:Late Interaction · 延迟交互
后期交互先独立编码查询与文档,再计算细粒度匹配,文档表示可以提前保存,ColBERT是代表方法。
他们说
独立编码后进行细粒度的查询与文档匹配
老白翻译
问题和资料先各自编码,再让各个位置的向量参与匹配。
它到底是什么
后期交互是一类检索匹配结构。查询和文档先分别编码,之后计算两者的细粒度相似性。ColBERT保留Token级向量,让文档表示可以离线预计算。
在流程里怎么看
ColBERT的查询和段落都对应多个向量。其MaxSim操作为查询各个Token寻找文档中的相近向量,再汇总匹配分数。更多局部信息得以参与排序,也会产生索引开销。
常见误解
后期交互与重排并不同义。前者描述匹配结构,后者描述候选重新排序的步骤。后期交互既能用于候选排序,也能参与直接检索,高相似度仍需用相关性题目检验。
普通人怎么用
用带明确限定条件的问题比较结果,并记录索引大小与查询耗时。选用具体实现时核对模型、文档更新方式和压缩配置。