张量并行
也叫：Tensor Parallelism · TP · 张量模型并行
张量并行把同一模型层的矩阵与注意力头分到多张 GPU，降低单卡容量压力，同时引入频繁的集合通信。
他们说
在单层内部沿矩阵维度切分权重与计算
老白翻译
同一层太大，就让多张卡各算一片，再交换结果。
它到底是什么
张量并行在一个模型层内部切分权重。多张 GPU 同时完成矩阵乘法的不同部分，再通过全归约、全收集或归约散射交换结果。
生活里的例子
一层权重单卡放不下，可以按行或列分到四张卡。四张卡每轮都参与同一个请求，也要在层与层之间把需要的数据对齐。
常见误解
- 误解：四张卡一定快四倍。 层内通信会反复发生，互连速度可能吃掉并行收益。
- 误解：它等同于复制四份模型。 复制模型主要增加并发，张量并行让多张卡共同计算一份模型。
- 误解：能加载就表示配置合适。 容量通过以后，还要测首词元、逐词延迟与总吞吐。
普通人怎么用
从能放下模型的最小并行度开始，逐档增加 GPU，并记录互连类型与集合通信耗时。加卡后延迟曲线不再改善，就该停止扩大。