弱到强泛化

英文:Weak-to-Strong Generalization 分类:alignment

基本释义

弱模型监督训练出的强模型,其能力是否超越监督者(弱模型)本身的水平。OpenAI 的研究课题:小模型标注数据训练大模型,大模型能否学到超越标签的能力。

技术要点

发现:弱模型标签可训练出更强模型(能力外溢),但存在"对齐税"(强模型继承弱监督者的错误);研究:监督信号放大、置信度加权、多监督者聚合;意义:为"人类弱监督超级 AI"提供实验模型。

应用场景

用于对齐研究(超级智能监督)、数据标注降本(弱标注训练强模型)、半监督学习与安全理论;弱到强泛化是"弱监督能否造出超强 AI"的科学实验。

返回AI百科目录 · AI最前沿首页

相关词条:对齐 · 宪法 AI · 红队测试 · 泛化对齐 · 激活分析