英文：Offline Reinforcement Learning 分类：embodied
仅从固定数据集（其他策略/人类采集）学习策略，不与环境交互的强化学习范式。它让 RL 可用于安全敏感与数据稀缺场景。
核心挑战：分布偏移（数据外的动作价值被高估）；方法：保守估计（CQL 惩罚 OOD 动作）、行为约束（TD3+BC、IQL 隐式约束）、模型世界（离线训练+在线规划）；数据：演示+失败样本混合更佳。
用于机器人（人类演示数据训练）、医疗（离线决策）、推荐与自动驾驶（日志数据）；离线 RL 是"让 RL 进入现实世界"的关键范式。