PagedAttention
也叫：Paged Attention · 分页注意力 · 分页 KV 缓存
PagedAttention 通过块表把逻辑 KV 缓存映射到非连续物理块，减少显存碎片并支持更高效的请求共享。
他们说
使用固定大小的非连续块管理推理请求的 KV 缓存
老白翻译
每条请求的缓存被切成小块，显存里哪里有空位就放到哪里。
它到底是什么
PagedAttention 是一种面向大模型服务的注意力与缓存管理方法。它把每条请求的 KV 缓存分成固定大小的块，用块表记录逻辑顺序和物理位置。
生活里的例子
服务同时处理长短不一的请求时，已释放的小块可以直接交给新请求。系统不必等待一整段连续显存出现。
常见误解
- 误解：它会让模型本身变小。 模型权重没有改变，优化对象主要是请求运行时的 KV 缓存。
- 误解：论文吞吐倍数适用于任何部署。 硬件、模型、输入输出长度和流量形态都会影响收益。
- 误解：用了分页就没有内存浪费。 每条序列最后一个块仍可能未填满，块表和运行时也要占空间。
普通人怎么用
用真实的短问答、长提示词和混合突发流量压测，综合比较吞吐、延迟分位数、显存和请求抢占。