英文:REINFORCE 分类:training
最基础的政策梯度强化学习算法:按动作概率的对数似然乘以奖励更新策略,让高奖励动作更可能被选择。是大模型 RL 训练(如 RLHF 的 PPO 家族)的理论基石。
公式:∇J(θ)=E[R·∇log π(a|s)],引入基线(如价值函数)降低方差;需注意奖励尺度与熵正则(防策略坍缩)。相比 PPO 等现代算法,REINFORCE 样本效率低,但简单可解释,变体(REINFORCE++、GRPO 的无评论家简化)在 LLM 对齐中复兴。
用于大模型 RLHF/RLVR(DeepSeek-R1 的 GRPO 即其无价值网络变体)、策略优化研究与游戏/控制任务;是理解"奖励驱动智能"的入门算法。