英文：ONNX Runtime 分类：inference
微软开源的跨平台模型推理引擎，支持多种硬件后端。
从架构设计角度，该模型在注意力计算、位置编码、归一化方案与激活函数上有明确选择；训练时需关注学习率warmup比例、权重衰减、注意力dropout与残差连接比例。推理阶段则依赖KV Cache、PagedAttention与连续批处理提升吞吐。
该架构（或模型）由对应研究机构于特定时期提出，后续经过多轮迭代，参数量从最初的数十亿扩展到如今的数千亿甚至万亿级别；开源社区在其基础上衍生出大量微调版本与变体，形成了活跃的生态。
工业部署通常采用vLLM、TensorRT-LLM或llama.cpp等推理框架，根据场景选择稠密或MoE架构、FP16/BF16或INT4量化。端侧场景常用GGUF格式，云端场景追求最大吞吐量。
相关词条：KV Cache · 投机解码 · 前缀缓存 · TensorRT-LLM · llama.cpp