稀疏自动编码器
也叫：Sparse Autoencoder · SAE · 稀疏自编码器
稀疏自动编码器把语言模型激活重构成稀疏特征，用于研究内部表示与行为因果关系。
他们说
用稀疏特征重构模型内部激活
老白翻译
把一团中间数值拆成每次只亮少数项的特征。
它到底是什么
稀疏自动编码器把模型某层激活映射到更高维特征，再用少量活跃特征重构原激活。研究者借此寻找较容易解释的内部单位。
怎样判断结果
同时看特征可解释性、重构误差、模型性能变化与每个输入的活跃特征数。干预某个特征后，行为是否按预期改变也很重要。
常见误解
给特征起了可读名称不等于已经看懂模型。名称来自样本归纳，低频特征、自动解释和重构损失都可能带来偏差。
普通人怎么用
阅读可解释性报告时，确认模型层、训练数据、稀疏设置和因果干预结果。只展示几个漂亮特征，证据还不够完整。