英文：Inference Cost 分类：inference
模型在推理（服务）阶段的算力、显存与电费开销，通常按"每百万 Token 价格"或"每次请求成本"衡量。推理成本决定 AI 产品能否规模化的经济性。
构成：GPU 时间（吞吐×时长）、显存占用（模型+KV）、带宽（权重搬运）与工程开销（调度损耗）；优化：量化（FP8/INT4）、批处理、缓存、投机采样与更小模型；趋势：成本年降数倍（硬件+算法双轮）。
用于 API 定价（OpenAI/Anthropic 的 per-token 价格）、产品毛利测算与部署选型（云端/端侧）；"推理成本下降"是 AI 应用爆发的关键条件。
相关词条：KV Cache · 投机解码 · 前缀缓存 · 服务等级目标 · 每 Token 成本