连续批处理
也叫：Continuous Batching · 动态批处理 · 滚动批处理
连续批处理会在生成过程中动态加入和移出请求，用更高的 GPU 利用率换取更复杂的排队与延迟管理。
他们说
在每个生成步骤动态重组正在推理的请求批次
老白翻译
短请求做完就离开，新的请求马上补进空位。
它到底是什么
连续批处理是在线模型服务的请求调度方式。调度器会在生成步骤之间移出已经完成的请求，并把等待的新请求加入仍在运行的批次。
生活里的例子
十个人同时问 AI，短问题先答完，空出来的计算位置可以马上接下一位，不必等最长的回答全部写完。
常见误解
- 误解：它就是离线批量推理。 离线批量推理可以等待整批完成，连续批处理还要处理不断到来的在线请求和流式输出。
- 误解：吞吐量提高以后，每个人都会更快。 新请求的 prefill 会占用计算，调度过密可能拖慢正在生成的请求。
- 误解：只限制请求条数就够了。 请求长度和 KV cache 占用差异很大，服务通常还要限制批次总 Token。
普通人怎么用
用真实的长短请求比例压测，同时看吞吐量、队列时长、首字等待和每 Token 延迟，再调整批次 Token 预算与等待阈值。