技术前沿

AI最前沿「技术前沿」专题聚合页，收录相关AI术语词条 290 个、深度文章 6 篇。

相关词条（290）

• 模型自进化（Model Self-Evolution）
• MoE 路由（MoE Routing）
• 多头注意力（Multi-Head Attention）
• 分组查询注意力（Grouped-Query Attention）
• 旋转位置编码（Rotary Position Embedding）
• 状态空间模型（State Space Model）
• 扩散语言模型（Diffusion Large Language Model）
• 生成对抗网络（Generative Adversarial Network）
• 变分自编码器（Variational Autoencoder）
• 卷积神经网络（Convolutional Neural Network）
• 循环神经网络（Recurrent Neural Network）
• 长短期记忆网络（Long Short-Term Memory）
• 编码器-解码器（Encoder-Decoder）
• 仅解码器架构（Decoder-only Architecture）
• 线性注意力（Linear Attention）
• 混合深度（Mixture-of-Depths）
• 字节潜变量变换器（Byte Latent Transformer）
• 层归一化（Layer Normalization）
• 残差连接（Residual Connection）
• 微调（Fine-Tuning）
• 监督微调（Supervised Fine-Tuning）
• 指令微调（Instruction Tuning）
• 持续预训练（Continued Pretraining）
• RLHF（RLHF）
• RLAIF（RLAIF）
• DPO（DPO）
• PPO（PPO）
• GRPO（GRPO）
• 知识蒸馏（Knowledge Distillation）
• 缩放定律（Scaling Law）
• 反向传播（Backpropagation）
• 梯度下降（Gradient Descent）
• 学习率（Learning Rate）
• 过拟合（Overfitting）
• 奖励模型（Reward Model）
• RLVR（RLVR）
• 模型合并（Model Merging）
• 专家并行（Expert Parallelism）
• 对齐（AI Alignment）
• 宪法 AI（Constitutional AI）
• 红队测试（Red Teaming）
• 越狱（Jailbreak）
• 提示注入（Prompt Injection）
• 幻觉（Hallucination）
• 护栏（Guardrails）
• AI 安全（AI Safety）
• 可解释性（Interpretability）
• 机制可解释性（Mechanistic Interpretability）
• 稀疏自编码器（Sparse Autoencoder）
• 激活引导（Activation Steering）
• 超级对齐（Superalignment）
• 可扩展监督（Scalable Oversight）
• AI 治理（AI Governance）
• 数字水印（AI Watermarking）
• 大模型评审（LLM-as-a-Judge）
• 聊天机器人竞技场（Chatbot Arena）
• 数据治理（Data Curation）
• 合成数据（Synthetic Data）
• 数据飞轮（Data Flywheel）
• 评测框架（Evaluation Harness）
• 数据标注（Data Annotation）
• 长上下文（Long Context）
• 长度外推（Length Extrapolation）
• 测试时训练（Test-time Training）
• 科学智能（AI for Science）
• 神经符号 AI（Neuro-symbolic AI）
• 词元经济（Token Economy）
• 量子机器学习（Quantum Machine Learning）
• 推理模型（Reasoning Model）
• 生成式 AI（Generative AI）
• 智能体式 AI（Agentic AI）
• 小语言模型（Small Language Model）
• 注意力头（Attention Head）
• Encoder-only（Encoder-only Architecture）
• Flash Attention（Flash Attention）
• ALiBi（Attention with Linear Biases）
• 滑动窗口注意力（Sliding Window Attention）
• 多Query注意力（Multi-Query Attention）
• 归一化位置编码（Alibi Position Embedding）
• 学习率调度（Learning Rate Schedule）
• 预热（Warmup）
• 梯度累积（Gradient Accumulation）
• ZeRO（ZeRO）
• 3D并行（3D Parallelism）
• 分布式训练（Distributed Training）
• 梯度检查点（Gradient Checkpointing）
• PEFT（PEFT）
• Adapter（Adapter）
• Prefix Tuning（Prefix Tuning）
• 指令微调数据（Instruction Tuning Data）
• 数据清洗（Data Cleaning）
• 去重（Deduplication）
• 质量过滤（Quality Filtering）
• 课程学习（Curriculum Learning）
• 早停（Early Stopping）
• 权重衰减（Weight Decay）
• Dropout（Dropout）
• 优化器（Optimizer）
• Adam（Adam）
• AdamW（AdamW）
• 动量（Momentum）
• 学习率预热（Learning Rate Warmup）
• 余弦衰减（Cosine Decay）
• FlashDecoding（FlashDecoding）
• 张量并行度（Tensor Parallel Size）
• 流水线并行度（Pipeline Parallel Size）
• 全局批次大小（Global Batch Size）
• 有效批次大小（Effective Batch Size）
• 混合专家路由（MoE Routing）
• 负载均衡损失（Load Balancing Loss）
• 训练损失（Training Loss）
• 验证损失（Validation Loss）
• 过训练（Overtraining）
• 多任务训练（Multi-Task Training）
• 持续学习（Continual Learning）
• 模型压缩（Model Compression）
• 重排序（Reranking）
• SQuAD（SQuAD）
• GLUE（GLUE）
• C-Eval（C-Eval）
• CMMLU（CMMLU）
• 人工评估（Human Evaluation）
• 自动评估（Automatic Evaluation）
• GPT-4评分（GPT-4 as Judge）
• BLEU（BLEU）
• ROUGE（ROUGE）
• 准确率（Accuracy）
• 精确率（Precision）
• 召回率（Recall）
• F1分数（F1 Score）
• 混淆矩阵（Confusion Matrix）
• ROC曲线（ROC Curve）
• AUC（Area Under Curve）
• 过拟合测试（Overfitting Test）
• 模型卡片（Model Card）
• 系统卡（System Card）
• DeepSeek-R1（DeepSeek-R1）
• o1（OpenAI o1）
• 光子计算（Photonic Computing）
• 量子计算（Quantum Computing）
• 脑机接口（Brain-Computer Interface）
• Neuralink（Neuralink）
• 超级智能（Superintelligence）
• 对齐问题（Alignment Problem）
• 对抗样本（Adversarial Example）
• 数据投毒（Data Poisoning）
• 模型窃取（Model Theft）
• 隐私泄露（Privacy Leakage）
• 差分隐私（Differential Privacy）
• 联邦学习（Federated Learning）
• 交叉注意力（Cross Attention）
• 因果注意力（Causal Attention）
• 稀疏注意力（Sparse Attention）
• GLU（Gated Linear Unit）
• SwiGLU（SwiGLU）
• GeGLU（Gated GELU）
• GELU（GELU）
• 缩放点积注意力（Scaled Dot-Product Attention）
• QKV 投影（QKV Projection）
• 可学习位置编码（Learned Positional Embedding）
• 相对位置编码（Relative Positional Encoding）
• 图像块嵌入（Patch Embedding）
• ViT（Vision Transformer）
• CLS Token（CLS Token）
• 序列长度外推（Length Extrapolation）
• KV 缓存压缩（KV Cache Compression）
• Flash-Decoding（Flash-Decoding）
• 分页 KV 缓存（Paged KV Cache）
• 投机采样（Speculative Decoding）
• 序列并行（Sequence Parallelism）
• 激活重计算（Activation Recomputation）
• 混合精度训练（Mixed Precision Training）
• BF16（BF16）
• FP8（FP8）
• 低比特量化（Low-Bit Quantization）
• 量化感知训练（Quantization-Aware Training）
• 专家负载均衡（Expert Load Balancing）
• 容量因子（Capacity Factor）
• 细粒度 MoE（Fine-Grained MoE）
• 共享专家（Shared Expert）
• 稠密模型（Dense Model）
• 位置插值（Position Interpolation）
• NTK 感知缩放（NTK-Aware Scaling）
• REINFORCE（REINFORCE）
• KTO（Kahneman-Tversky Optimization）
• 在线学习（Online Learning）
• warmup（Learning Rate Warmup）
• 余弦退火（Cosine Annealing）
• 梯度裁剪（Gradient Clipping）
• 梯度范数（Gradient Norm）
• 训练稳定性（Training Stability）
• 损失尖峰（Loss Spike）
• 数据配比（Data Mix）
• 重复数据去重（Deduplication）
• 评测集（Evaluation Set）
• 训练集（Training Set）
• 验证集（Validation Set）
• 交叉验证（Cross-Validation）
• 基准测试（Benchmark Test）
• 排行榜（Leaderboard）

相关文章（6）

• 顶级AI研究员的下一个机会在哪？（2026-11-02T18:53:00+08:00）
• 世界建模是跨任务可复用的独立能力吗？Northwestern、CMU等用仅2k样本跨领域提升22项基准，并给出训练配方（2026-11-06T10:22:00+08:00）
• NeurIPS 2026 ED Oral丨Benchmark也有保质期？我们给158个评测基准打了分（2026-10-31T18:21:00+08:00）
• 80岁变20岁？波恩大学研究逆转60年细胞衰老（2026-10-30T21:26:00+08:00）
• 对话港城大闫峻：未来的科学家，要习惯和AI一起做研究（2026-11-03T14:50:33+08:00）
• 我写了Hinton署名的那篇 RSI论文，未来几年 AI 研发可能提速十倍｜Sören Mindermann（2026-11-05T19:19:28.404000+08:00）

AI最前沿首页 · AI百科 · 全部文章