英文:Activation Analysis 分类:alignment
通过分析神经网络中间层激活(神经元响应)理解模型内部表征的技术:观察哪些输入触发哪些神经元,定位模型"关注什么",是可解释性的基础方法。
方法:神经元响应统计(最大激活样本)、激活聚类(语义分组)、探针(线性分类器读表征)、梯度归因;应用:找功能神经元(如"代码"神经元)、检测偏见表征、定位越狱触发器;工具:TransformerLens、nnsight。
用于模型可解释性研究、安全审计(找幻觉/偏见根因)、模型调试与教学可视化;激活分析是"读懂模型内部"的第一步。