电路分析

英文:Circuit Analysis 分类:alignment

基本释义

识别神经网络中实现特定行为的功能回路(相互连接的神经元/注意力头子集)并逆向其工作机制的技术,是机制可解释性的核心方法(Anthropic 等推动)。

技术要点

方法:路径归因(找到参与行为的组件)、消融实验(移除验证必要性)、因果干预(激活替换测试);成果:IOI 电路(间接对象识别)、间接效应分析;规模化挑战:自动电路发现(稀疏自编码器+自动归因)。

应用场景

用于对齐研究(定位越狱/欺骗电路)、模型能力归因(推理机制)、安全审计与可解释性理论;电路分析是"打开模型黑箱"的深层手段。

返回AI百科目录 · AI最前沿首页

相关词条:对齐 · 宪法 AI · 红队测试 · 特征可视化 · 前沿实验室