英文：PPO 分类：training
近端策略优化：强化学习主流算法，用裁剪的代理目标限制策略更新幅度（clip 机制），兼顾样本效率与训练稳定性，是 RLHF/RLVR 训练语言模型的标准 RL 算法。
核心：裁剪目标（新旧策略比值限制在 1±ε）、GAE 优势估计、价值网络（Critic）、KL 正则（防策略漂移）；流程：采样（旧策略）→计算优势→多 epoch 小步更新；超参：clip 范围（0.2）、KL 系数、学习率；对比：TRPO（更复杂）、GRPO（免 Critic）。
用于 RLHF 对齐（ChatGPT 训练核心）、推理能力强化（RLVR：数学/代码）、游戏与机器人策略训练、以及任何奖励可定义的任务优化。