人类意图对齐

英文:Intent Alignment 分类:alignment

基本释义

让模型理解并执行用户真实意图(而非仅字面指令)的对齐目标:识别模糊背后的需求、澄清歧义、区分有害"指令"与真实需求。

技术要点

难点:字面指令≠真实意图(误导/陷阱指令)、意图随时间演进(多轮)、群体意图(企业需求);技术:意图澄清(主动提问)、上下文推理、防御"指令劫持意图";评测:意图理解任务(Follow-Intent 基准)。

应用场景

用于助手交互(理解真实需求)、Agent 任务(目标明确化)、客服(需求挖掘)与安全(识别恶意"意图伪装");人类意图对齐是"真正懂用户"的技术追求。

返回AI百科目录 · AI最前沿首页

相关词条:对齐 · 宪法 AI · 红队测试 · 价值观对齐 · 目标错位