SwiGLU
也叫：Swish Gated Linear Unit · Swish门控线性单元 · SwiGLU前馈层
SwiGLU 用两路输入投影、Swish 激活和逐元素乘法组成门控前馈层，比较效果时应对齐参数量与训练计算。
他们说
用 Swish 激活与另一条投影相乘，改造 Transformer 前馈层
老白翻译
同一个 Token 走两路投影，一路当门，控制另一路哪些维度通过。
它到底是什么
SwiGLU 是 Transformer 前馈层的一种门控结构。输入经过两次投影，其中一路使用 Swish 激活，两路结果逐元素相乘，再投影回模型维度。
生活里的例子
普通前馈层像一条通道，SwiGLU 多出一组随输入变化的门控值。某个 Token 经过这一层时，不同隐藏维度会被压低或保留。
常见误解
- 误解：SwiGLU 只是把 ReLU 换成 Swish。 它还增加了第二路输入投影和逐元素乘法。
- 误解：直接沿用原中间宽度才是公平比较。 三矩阵结构通常要缩窄中间层，才能对齐参数与计算。
- 误解：一篇实验领先就说明所有模型都该用。 数据、规模、内核和目标任务都会改变结果。
普通人怎么用
比较前馈结构时固定总参数、训练 Token 与计算预算，同时检查验证损失、目标任务和真实吞吐。