英文:Circuit Analysis 分类:alignment
识别神经网络中实现特定行为的功能回路(相互连接的神经元/注意力头子集)并逆向其工作机制的技术,是机制可解释性的核心方法(Anthropic 等推动)。
方法:路径归因(找到参与行为的组件)、消融实验(移除验证必要性)、因果干预(激活替换测试);成果:IOI 电路(间接对象识别)、间接效应分析;规模化挑战:自动电路发现(稀疏自编码器+自动归因)。
用于对齐研究(定位越狱/欺骗电路)、模型能力归因(推理机制)、安全审计与可解释性理论;电路分析是"打开模型黑箱"的深层手段。