滑动窗口注意力
也叫：Sliding Window Attention · SWA · 局部窗口注意力
滑动窗口注意力限制每层直接关注的历史范围，使注意力计算和 KV 缓存更可控，远距离信息需经过多层传播。
他们说
每层只让 Token 关注附近固定窗口内的位置
老白翻译
每层先看附近内容，远处信息靠多层逐步传过来，换取更少计算和缓存。
它到底是什么
滑动窗口注意力让每个 Token 只直接关注附近 W 个位置。局部计算随序列近似线性增长，多层叠加后，信息可以逐层传播到窗口外。
生活里的例子
窗口为 4096 时，一层只能直接读取最近 4096 个 Token。下一层处理的表示已经混入前一层信息，因此理论传播距离会随层数增加。
常见误解
- 误解：窗口外的信息完全没用。 它可以经过中间层传递，只是不能被当前层直接读取。
- 误解：层数乘窗口就是完整可用上下文。 理论传播范围不等于远处细节一定保真。
- 误解：局部注意力天然解决所有长文任务。 关键全局位置、跨段推理和真实检索仍需专门设计与评测。
普通人怎么用
把关键信息放在窗口内外的不同位置，分别测找回率、跨段回答、缓存显存、预填充时间和逐词速度。