英文：RLAIF 分类：training
基于 AI 反馈的强化学习：用 AI 模型（如 Claude 作为"法官"）替代人类为模型输出打分/排序，再以 RLHF 同类流程优化模型；Anthropic 证明其效果可媲美人类反馈，大幅降低对齐成本。
机制：AI 法官（提示词：给定准则打分/对比）、偏好数据自动生成（宪法准则）、训练流程同 RLHF（奖励模型+PPO）；关键：法官提示设计（准则清晰）、与人类反馈混合（保真）；优势：可扩展（无需人工标注）、隐私友好、准则可迭代；宪法式 AI（CAI）。
用于大规模对齐（标注成本控制）、准则驱动安全（宪法式 AI）、内容审核模型训练与需要快速迭代对齐策略的产品。