英文:Sparse Autoencoder 分类:alignment
用稀疏编码从模型激活中分解出"可解释特征"的自编码器:将稠密激活映射到高维稀疏表示(每个激活由少量特征组成),是 Anthropic 可解释性研究的核心工具。
原理:编码器升维+稀疏约束(L1 惩罚)→解码器重建,激活分解为稀疏特征组合;应用:发现可解释特征(如"错误/欺骗/代码"特征)、特征叠加解耦、电路发现;挑战:训练不稳定、特征不完整(大规模仍需验证)。
用于机制可解释性(特征分解)、安全监控(探测欺骗/越狱特征)、模型调试与对齐研究;稀疏自编码器是"解耦模型表征"的前沿工具。