机制可解释性

英文:Mechanistic Interpretability 分类:alignment

基本释义

逆向工程神经网络的内部计算机制(权重、激活、电路),理解模型"如何"实现特定行为,是对齐与安全研究的前沿方向。

技术要点

方法:激活分析(神经元响应)、特征可视化、电路发现(注意力头/MLP 协作)、稀疏自编码器(解耦特征)、探针(线性读出);目标:定位能力/安全相关机制(如越狱触发器);挑战:规模化(万亿参数)与自动化。

应用场景

用于安全审计(找幻觉/越狱根因)、模型调试(行为归因)、对齐验证(检测隐藏目标)与 AI 理论研究;机制可解释性是"打开模型黑箱"的科学路径。

返回AI百科目录 · AI最前沿首页

相关词条:对齐 · 宪法 AI · 红队测试 · 可解释性 · 稀疏自编码器