激活分析

英文:Activation Analysis 分类:alignment

基本释义

通过分析神经网络中间层激活(神经元响应)理解模型内部表征的技术:观察哪些输入触发哪些神经元,定位模型"关注什么",是可解释性的基础方法。

技术要点

方法:神经元响应统计(最大激活样本)、激活聚类(语义分组)、探针(线性分类器读表征)、梯度归因;应用:找功能神经元(如"代码"神经元)、检测偏见表征、定位越狱触发器;工具:TransformerLens、nnsight。

应用场景

用于模型可解释性研究、安全审计(找幻觉/偏见根因)、模型调试与教学可视化;激活分析是"读懂模型内部"的第一步。

返回AI百科目录 · AI最前沿首页

相关词条:对齐 · 宪法 AI · 红队测试 · 弱到强泛化 · 特征可视化