强化学习

英文：Reinforcement Learning　分类：foundation

基本释义

智能体通过与环境的交互、依据奖励信号试错学习最优策略的机器学习范式。它不依赖标注答案，而是从"做-得到反馈-调整"中学习，是游戏 AI、机器人控制与大模型对齐（RLHF）的核心方法。

技术要点

核心要素是状态、动作、策略、奖励与环境；经典算法包括 Q-learning、策略梯度（PPO 最常用）与 Actor-Critic。训练中需平衡探索与利用，并处理奖励稀疏、非平稳环境等难点。在大模型领域，强化学习以人类反馈（RLHF）或规则奖励（如数学、代码验证）优化模型行为。

发展脉络

2013 年 DQN 玩转 Atari，2016 年 AlphaGo 击败李世石，2019 年后 RLHF 用于语言模型对齐，2024-2025 年 R1、o 系列以大规模强化学习（GRPO 等）训练推理模型，强化学习成为提升模型深度思考能力的关键。

应用场景

机器人运动控制、自动驾驶决策、游戏策略、推荐系统探索、大模型推理增强与安全对齐；工业界将 RL 用于路径规划、竞价策略与模型后训练。

返回AI百科目录 · AI最前沿首页

相关词条：Transformer · 注意力机制 · 自注意力 · 无监督学习 · 迁移学习