英文：GRPO 分类：training
Group Relative Policy Optimization：强化学习优化算法，在一个提示的多个采样输出组内做相对优势估计（无需单独价值网络），降低显存与训练成本，是 DeepSeek-R1 等推理模型训练的核心方法。
机制：同一提示采样 G 个输出→组内归一化奖励（相对基线）→策略梯度更新（KL 约束）；对比 PPO：省略 Critic 价值网络（省显存）、优势估计更简单稳健；应用：RLVR（可验证奖励：数学/代码）、推理链强化；公式：组内优势=(r_i-mean)/std。
用于推理模型训练（R1 系列）、数学/代码强化（可验证奖励）、对齐（偏好组内比较）与低成本 RL；GRPO 是"轻量高效 RL"的代表算法。