预填充解耦
也叫：Prefill-Decode Disaggregation · Prefill-Decoding Disaggregation · 预填充与解码分离
预填充解耦把输入处理和逐词生成分给不同设备，使两段能按各自延迟目标扩容，同时增加 KV 缓存传输与放置要求。
他们说
把大模型推理的预填充与解码阶段部署到不同设备
老白翻译
输入先在一组 GPU 上读完，再把 KV 缓存交给另一组 GPU 接着逐词回答。
它到底是什么
预填充解耦把提示词预填充与后续解码部署到不同 GPU。预填充侧建立 KV 缓存并产出首个 Token，解码侧接收缓存后继续逐词生成。
生活里的例子
文档摘要请求先交给擅长处理长输入的一组 GPU。KV 缓存算好后，另一组 GPU 专门维持稳定的逐词输出，不必和新的长输入争抢同一张卡。
常见误解
- 误解：把两段拆开一定更快。 KV 缓存需要跨设备传输，互连带宽不足会吃掉收益。
- 误解：两边配同样多的 GPU 最稳。 设备比例应由输入长度、输出长度、TTFT 与 TPOT 目标决定。
- 误解：总吞吐提高就算成功。 还要确认尾部请求同时满足首词元和逐词延迟要求。
普通人怎么用
分别测量预填充、KV 传输和解码时间，再按真实流量调整两侧设备数量与放置方式。