每 Token 成本

英文：Cost Per Token　分类：inference

基本释义

生成单个 Token 的平均成本，把"模型价格"拆到最小单位，便于跨模型、跨优化方案横向比较效率。

技术要点

计算：总服务成本（GPU/电力/摊销）÷ 生成 Token 总数；受吞吐（tokens/s/GPU）、利用率与折扣影响；行业对标（如 $/1M tokens）已标准化（输入/输出分价）。

应用场景

用于模型选型（成本效率）、优化效果评估（量化/批处理前后对比）与 ROI 测算；"每 Token 成本"是 AI 服务的成本会计单位。

返回AI百科目录 · AI最前沿首页

相关词条：KV Cache · 投机解码 · 前缀缓存 · 推理成本 · 推理并发度