英文:Reward Shaping 分类:embodied
设计中间奖励引导智能体逐步接近稀疏最终目标的技术。稀疏奖励(只有终点有奖励)导致探索困难,塑形奖励让学习"有梯子可爬"。
原则:势能塑形(potential-based shaping,保证最优策略不变);实践:距离奖励(靠近目标加分)、阶段奖励(完成子目标)、惩罚探索浪费;风险:奖励黑客(钻奖励空子)与局部最优。
用于机器人操作(逐步接近目标)、游戏(关卡推进奖励)、导航(到达中间点)与 LLM RL 训练(步骤奖励);奖励塑形是"让 RL 学得动"的工程艺术。