奖励塑形

英文:Reward Shaping 分类:embodied

基本释义

设计中间奖励引导智能体逐步接近稀疏最终目标的技术。稀疏奖励(只有终点有奖励)导致探索困难,塑形奖励让学习"有梯子可爬"。

技术要点

原则:势能塑形(potential-based shaping,保证最优策略不变);实践:距离奖励(靠近目标加分)、阶段奖励(完成子目标)、惩罚探索浪费;风险:奖励黑客(钻奖励空子)与局部最优。

应用场景

用于机器人操作(逐步接近目标)、游戏(关卡推进奖励)、导航(到达中间点)与 LLM RL 训练(步骤奖励);奖励塑形是"让 RL 学得动"的工程艺术。

返回AI百科目录 · AI最前沿首页

相关词条:物理AI · VLA · 空间智能 · 离线强化学习 · 分层强化学习