英文：Corpus Scale 分类：foundation
预训练语料的 Token 总量。与参数规模、算力共同构成规模法则的三个变量：在合理配比下，语料规模越大模型能力越强，但存在数据收益递减与重复污染问题。
规模法则表明损失随语料规模幂律下降；但超出"智能密度"合理区间后边际收益降低，且重复数据会损害学习。工程决策：多少 Token 配多少参数（Chinchilla 最优配比）、多轮 epoch 还是单轮、高质量子集优先。
用于预训练规划（数据预算）、能力短板补齐（增加代码/数学语料）与数据采购决策；大厂公开训练数据规模（如数万亿 Token）成为行业标杆。
相关词条：Transformer · 注意力机制 · 自注意力 · 预训练数据 · 知识截止