llama.cpp

英文：llama.cpp　分类：inference

基本释义

Georgi Gerganov开发的纯C/C++ LLM推理引擎，支持CPU与量化部署，让笔记本也能跑大模型。

技术要点

从架构设计角度，该模型在注意力计算、位置编码、归一化方案与激活函数上有明确选择；训练时需关注学习率warmup比例、权重衰减、注意力dropout与残差连接比例。推理阶段则依赖KV Cache、PagedAttention与连续批处理提升吞吐。

发展脉络

该架构（或模型）由对应研究机构于特定时期提出，后续经过多轮迭代，参数量从最初的数十亿扩展到如今的数千亿甚至万亿级别；开源社区在其基础上衍生出大量微调版本与变体，形成了活跃的生态。

应用场景

工业部署通常采用vLLM、TensorRT-LLM或llama.cpp等推理框架，根据场景选择稠密或MoE架构、FP16/BF16或INT4量化。端侧场景常用GGUF格式，云端场景追求最大吞吐量。

返回AI百科目录 · AI最前沿首页

相关词条：KV Cache · 投机解码 · 前缀缓存 · ONNX Runtime · GGUF