可扩展监督

英文:Scalable Oversight 分类:alignment

基本释义

当 AI 能力超过人类监督能力时仍能保持对齐的监督方法体系:用 AI 辅助人类监督(AI 批评家)、过程监督、可验证任务(代码/数学自证),是超级智能安全的关键课题。

技术要点

方法:辩论(AI 相互对抗)、递归奖励建模(小监督大)、过程监督(逐步核验)、工具验证(代码执行/数学证明)、沙盒实验;目标:让监督随能力扩展;挑战:监督者能力天花板与信息不对称。

应用场景

用于前沿模型对齐(AGI 安全)、复杂任务监督(长程 Agent 审计)、奖励模型改进与安全研究;可扩展监督是"超级 AI 可控"的核心方案。

返回AI百科目录 · AI最前沿首页

相关词条:对齐 · 宪法 AI · 红队测试 · 超级对齐 · AI 治理