断点续训

英文：Training Resumption　分类：infra

基本释义

大模型训练因故障、断电或人工中断后，从最近保存的检查点继续训练的技术，避免从头重训带来的时间与算力浪费。

技术要点

机制：周期性保存全量状态（模型权重、优化器动量、学习率调度位置、随机数种子）；恢复时校验数据加载偏移与批次对齐；工程要点：保存频率与故障恢复时间权衡（如每小时/每步）、原子写与远端备份。

应用场景

用于长周期大模型训练（数周级）、分布式集群故障恢复、训练成本管控与实验可复现；断点续训是"长训练不浪费"的基础保障。

返回AI百科目录 · AI最前沿首页

相关词条：词元服务 · 超节点 · 训练集群 · 任务调度器 · 故障转移