英文:Scalable Oversight 分类:alignment
当 AI 能力超过人类监督能力时仍能保持对齐的监督方法体系:用 AI 辅助人类监督(AI 批评家)、过程监督、可验证任务(代码/数学自证),是超级智能安全的关键课题。
方法:辩论(AI 相互对抗)、递归奖励建模(小监督大)、过程监督(逐步核验)、工具验证(代码执行/数学证明)、沙盒实验;目标:让监督随能力扩展;挑战:监督者能力天花板与信息不对称。
用于前沿模型对齐(AGI 安全)、复杂任务监督(长程 Agent 审计)、奖励模型改进与安全研究;可扩展监督是"超级 AI 可控"的核心方案。