英文：端侧大模型（On-Device LLM） 分类：infra
部署在手机、PC、智能汽车、物联网终端等设备本地运行、无需联网即可推理的大语言模型。端侧大模型是"云侧大模型 + 端侧小模型"混合架构中的端侧一环，优势在于隐私保护（数据不出设备）、低延迟（免网络往返）、离线可用与低成本，是个人 AI 普惠化的重要路径。
端侧落地依赖三类技术：①模型压缩——量化（INT4/INT8、QAT 训练感知量化、PTQ）、知识蒸馏（大模型教小模型）、剪枝与低秩分解；②推理优化——NPU/GPU 异构加速、KV Cache 管理、内存带宽优化、投机解码加速；③架构设计——参数量从 1B 到 10B 不等，采用 MoE、滑动窗口注意力等降低计算量。标杆包括 Google Gemma 系列、微软 Phi 系列、Qwen 端侧版本及 Apple 设备端模型。
2023 年 Phi-2、TinyLlama 等证明小模型可具备不俗能力；2024 年 3B-7B 级模型在旗舰手机 NPU 上流畅运行，"端云协同"成为行业共识；2025-2026 年 10B 级模型走向端侧（如 Gemma 4 QAT 面向移动端压缩优化），端侧多模态与 Agent 能力逐步就绪。
手机语音助手离线应答、输入法与写作辅助、相机场景理解与修图、车机交互、智能家居语音、金融与医疗等敏感数据的本地化处理。