多头潜在注意力
也叫：Multi-Head Latent Attention · MLA · 多头隐注意力
多头潜在注意力把 Key 和 Value 联合压到低维向量，并拆出 RoPE 位置部分，用较小 KV 缓存保留多头计算。
他们说
用低秩联合压缩保存 Key 和 Value 的潜在表示
老白翻译
先把每个 Token 的 Key 和 Value 压成一份短记录，需要时再参与注意力计算。
它到底是什么
多头潜在注意力是 DeepSeek-V2 报告提出的注意力结构。它用低秩投影把 Key 和 Value 压到共享向量，推理时主要缓存这份向量和较小的 RoPE 位置 Key。
生活里的例子
一份长表先被整理成较短的索引，多个查询角度仍然保留。这个类比只解释缓存变短，实际 MLA 是可训练的矩阵投影。
常见误解
- 误解：MLA 只是 MQA 的新名字。 MQA 共享一组 Key 和 Value，MLA 保存联合压缩后的潜在向量。
- 误解：论文写了 93.3%，所有 MLA 模型都能省这么多。 这是 DeepSeek-V2 与 DeepSeek 67B 的特定对照。
- 误解：通用注意力内核会自动获得全部收益。 若实现先展开完整 KV，优势可能被中间张量吃掉。
普通人怎么用
部署前检查模型配置和推理框架是否真正支持 MLA，随后在目标长度上测每 Token 缓存、吞吐和任务质量。