分块预填充
也叫：Chunked Prefill · Chunked Prefilling · 预填充分块
分块预填充把长输入分多轮建立 KV 缓存，使预填充与解码可以穿插调度，并用块大小调节首词元和逐词延迟。
他们说
把长提示词的预填充计算拆成多个调度块
老白翻译
长输入分几轮算，给正在回答的请求留出插队机会。
它到底是什么
分块预填充把一条长提示词拆成多个计算块。调度器可以在块之间安排已有请求继续解码，避免一次长预填充持续占住 GPU。
生活里的例子
一条两万 Token 的文档正在建立 KV 缓存，服务端可以每处理一块就让其他对话生成几个 Token，随后再处理下一块。
常见误解
- 误解：它会截掉提示词。 原输入仍会完整处理，只是分几轮完成。
- 误解：块越小越好。 小块会增加调度次数，也可能推迟长请求的首个输出。
- 误解：吞吐提高就算调好了。 还要看首词元延迟、逐词间隔和长请求是否持续被推后。
普通人怎么用
用短问答、长文档和长输出混合压测，逐档调整每块 Token 数，同时观察 TTFT、ITL 的中位数与 P99。