小语言模型

英文:Small Language Model 分类:frontier

基本释义

参数规模较小的语言模型(数亿至数十亿参数):部署成本低、响应快、可本地化,通过蒸馏/高效训练获得接近大模型的实用能力,是边缘与降本部署的主力。

技术要点

代表:Phi 系列、Gemma、Qwen 小模型、GPT-4o mini、DeepSeek 蒸馏版;关键:数据质量(训练"小但精")、蒸馏(继承大模型能力)、效率架构(共享/稀疏);能力:简单任务接近大模型、复杂推理仍有差距;生态:llama.cpp 本地运行。

应用场景

用于端侧 AI(手机/PC 离线)、高并发低成本 API、私有化部署(数据安全)与特定领域(垂直微调);小语言模型是"AI 普惠"的载体。

返回AI百科目录 · AI最前沿首页

相关词条:模型自进化 · 合成数据 · 长度外推 · 智能体式 AI · AI 原生