英文:Mechanistic Interpretability 分类:alignment
逆向工程神经网络的内部计算机制(权重、激活、电路),理解模型"如何"实现特定行为,是对齐与安全研究的前沿方向。
方法:激活分析(神经元响应)、特征可视化、电路发现(注意力头/MLP 协作)、稀疏自编码器(解耦特征)、探针(线性读出);目标:定位能力/安全相关机制(如越狱触发器);挑战:规模化(万亿参数)与自动化。
用于安全审计(找幻觉/越狱根因)、模型调试(行为归因)、对齐验证(检测隐藏目标)与 AI 理论研究;机制可解释性是"打开模型黑箱"的科学路径。