分组查询注意力
也叫：Grouped-Query Attention · GQA · 分组查询
分组查询注意力让多组查询头共享键和值，在多头注意力与多查询注意力之间平衡模型质量、KV缓存和生成速度。
他们说
让多组查询头共享较少的键值头
老白翻译
多只查询头分组共用几份键和值。
它到底是什么
分组查询注意力保留较多查询头，同时把它们分组，让每组共用一个键头和一个值头。它减少逐词生成时需要保存和读取的 KV 缓存。
两端是什么
多头注意力让每个查询头都有自己的键和值。多查询注意力让所有查询头共用一组。GQA的共享程度位于两者之间。
常见误解
KV 缓存缩小不代表整条请求按同样比例加速。预填充、采样、网络和其他算子仍会占用时间。
普通人怎么用
在目标机器上按上下文长度和并发量记录显存、吞吐与单词元延迟，再用相同任务比较答案质量。