上下文窗口

英文:Context Window 分类:foundation

基本释义

模型一次能处理的 Token 总数上限,即"一次性看完"的文本长度。窗口越长,模型能吸收的书籍、论文、代码与对话历史就越多,直接决定可处理任务的复杂度与使用体验。

技术要点

窗口受限于注意力矩阵的内存开销与计算复杂度:Transformer 自注意力为 O(n²),长序列需用稀疏注意力、滑动窗口、RoPE 外推或 KV 缓存优化来扩展。常见的 128K、200K、1M 窗口通常只能"看到"部分内容,模型对窗口内信息的利用并不均匀,存在"大海捞针"式的注意力稀释问题。

发展脉络

从早期 GPT-3 的 2K/4K,到 2023 年 Claude 100K、GPT-4 Turbo 128K,再到 2024-2025 年 200K-1M 量级与无限上下文方案(如 StreamingLLM、Infini-Attention),上下文窗口成为大模型军备竞赛的关键指标之一。

应用场景

长文档问答、代码仓库理解、整书翻译、超长对话与 Agent 记忆管理都依赖大窗口;工程上通过上下文压缩、检索增强与滑窗策略在有限窗口内高效利用信息。

返回AI百科目录 · AI最前沿首页

相关词条:Transformer · 注意力机制 · 自注意力 · 预训练 · 大语言模型