旋转位置编码
也叫：Rotary Position Embedding · RoPE · 旋转式位置编码
旋转位置编码按词元位置旋转查询和键向量，使注意力分数感知相对距离，常用于大语言模型的位置表示。
他们说
通过旋转查询与键向量注入相对位置信息
老白翻译
词元站在不同位置，查询和键就转过不同角度。
它到底是什么
旋转位置编码把向量维度两两配对，再按词元位置和不同频率旋转查询与键。二者做内积时，注意力可以感知位置差。
为什么要旋转
注意力只看词元内容时难以分清顺序。RoPE把位置直接放进查询和键的关系，不需要另加一份绝对位置向量。
常见误解
修改 RoPE 缩放参数不等于模型已经学会处理更长文本。新长度上的信息找回、短文能力、显存与延迟都要重测。
普通人怎么用
按短、中、长输入分档测试，把关键事实分别放在开头、中间和结尾，再记录正确率、延迟与显存。