如何用“逆向博弈论”约束 AI 智能体

发布时间：2026-11-05T17:04:01+08:00　来源：MITTR中国　分类：agent

（来源：麻省理工科技评论）一种名为“逆向博弈论”（reverse game theory）的新方法，试图通过设计激励机制，让强大的 AI 模型主动遵守规则，从而实现对它们的有效控制。随着 AI 模型的能力不断增强，安全研究人员正争分夺秒地确保这些模型与人类的意图保持“对齐”（aligned）。换句话说，他们希望确保失控的 AI 智能体不会违法、入侵未经授权的服务器，或是在大城市释放毒气，造成大规模人员伤亡。到目前为止，这项工作的重点主要集中在两个方向：一是试图窥探 AI 的“内部”，了解它究竟在“思考”什么；二是通过训练，让模型遵循人类所珍视的价值观。例如，Claude 就有自己的 宪法，相当于一套道德准则。

问题在于，这些方法似乎并没有发挥太大作用。研究已经发现，模型会在测试中故意表现不佳、隐藏自己的真实意图，甚至误导评估人员。如今，一些 AI 对齐研究人员认为，逆向博弈论（reverse game theory），也被称为机制设计（mechanism design），或许能取得更好的效果。博弈论试图预测理性参与者在给定规则下会如何行动，而逆向博弈论则试图反过来设计规则，以引导参与者产生我们希望看到的行为。现实生活中，机制设计的一个经典例子，是两个人如何公平地分一块蛋糕：一个人负责切蛋糕，另一个人先挑选。这样的规则会促使切蛋糕的人尽可能将蛋糕分成大小相等的两块。又比如网约车平台的动态定价机制。

当需求旺盛时，平台提高价格，以此激励更多司机上线接单；以及第二价格拍卖（second-price auction），即竞拍成功者支付的不是自己的最高出价，而是第二高的出价。在线广告平台经常采用这种拍卖方式，因为它能鼓励买家将出价报到接近自己愿意支付的最高金额。在 AI 领域，机制设计建立在这样一个前提之上：我们或许永远无法充分理解前沿模型的内部运作机制，因此也就无法仅仅依靠了解模型内部的情况来确保它们与人类价值观保持一致。这意味着，我们应该设计一套激励机制，让 AI 智能体按照我们希望的方式行事，而不必关心它们的内部究竟发生了什么。麻省理工学院（MIT）经济学家 Stephen Morris 

与耶鲁大学、哥伦比亚大学的同事最近发表了一篇预印本论文，提出了几种潜在的机制，试图防止 AI 智能体在测试中“故意示弱”（sandbagging），即假装自己的能力不如实际水平。例如，模型可能会故意表现得更差，以避免触发安全机制。按照其中一种设想，模型获得奖励的依据，不应仅仅是它在测试中的表现，还可以包括它的回答在多大程度上能够预测另一个模型会给出什么答案。这样一来，故意装傻反而会让模型处于不利地位。Morris 表示：“AI 智能体对其他 AI 智能体能够达到什么水平，有着非常好的判断。因此，在这种情境下，通过模型之间的交叉验证来实现监督，似乎更具有实际可行性。”论文还提出了其他几种思路。例如，让不同的智能体相互竞争，形成竞争机制，促使它们尽最大努力完成任务；

或者将两个已知存在相反偏见的智能体配对，根据它们输出结果的一致程度给予奖励，从而激励它们共同逼近最优答案。第二种思路来自普林斯顿大学计算机科学教授 Elad Hazan。他设想的机制设计，将借鉴人类社会维持秩序、协调行为的方式，包括社会规范、司法体系，以及自由市场资本主义中的经济激励机制。“我们希望让超级智能 AI 与人类保持一致。那为什么不先谈谈人类呢？我们是如何让人类保持一致的？”他说。Hazan 提出的机制设计方案，是让 AI 模型轮流扮演两种角色：“解决者”（solver）负责处理问题，“审计者”（auditor）则负责检查其他模型的工作。他说：“一个智能体扮演执法者，另一个智能体扮演公民。

”在训练过程中，模型会根据最终结果获得相应奖励或惩罚。如果解决者被发现作弊，就会受到惩罚；如果审计者没能发现作弊行为，同样会受到惩罚。如果审计者和解决者之间存在分歧，还可以将案件提交“审判”，由人类专家来判断究竟谁是对的。Hazan 承认，这套机制存在一个潜在风险：不同智能体可能会相互串通。现实中也有类似情况，例如审计人员与本应接受审计的企业相互勾结，或者腐败警察与犯罪分子沆瀣一气。不过，他认为，这个问题可以通过两种方式解决。首先，给予审计者足够丰厚的奖励，让他们认为与作弊者串通所带来的风险得不偿失。这在 AI 训练环境中相对容易实现，毕竟现实世界里，警察的薪资预算往往十分有限。其次，还可以对审计者本身进行监督，采用类似“神秘顾客”（mystery shopper）的方式，检查他们是否认真履行职责。

Hazan 还提到了经济学家 Gary Becker 在 20 世纪 60 年代提出的“理性犯罪人”（rational offender）概念。Becker 的这项研究后来获得了诺贝尔奖。Becker 认为，犯罪者违法，并不一定是因为他们天生就是坏人，而是因为在现有激励条件下，违法可能是他们认为最理性的选择。只有当犯罪所得超过潜在惩罚时，犯罪行为才会显得合算。Hazan 认为，我们不应该将对齐视为模型本身的一种固有属性，而应该将其理解为对模型在某个特定时刻行为状态的描述。他举例说：“你可能是一个很好的人。但你是否始终与社会规范保持一致？我不知道。你可能在大多数时候都表现得很好，但也可能在某种特定情境下偏离这些规范。

”将机制设计应用于 AI，也存在一个潜在问题：这种方法依赖于一个假设，即 AI 智能体能够理性地行动。然而，机制设计在人类社会中的应用效果并不稳定。人类经常不会按照经济学模型所预测的方式行事。这其中存在一种讽刺意味：经济学家花了几十年时间，试图用数学解释人类行为；而如今，我们在大语言模型中创造出了同样由数学构建、却以人类语言为基础运行的系统，而这些系统也可能同样难以捉摸。AI 模型表现出一些更接近人类而非机器的行为，而且它们可能受到一些微妙因素的影响，而这些因素往往很难被理解和解释。非营利研究机构 Flatiron Institute 的研究员 Helen Qu 曾撰文探讨机制设计与 AI 安全之间的关系。

该机构致力于通过计算方法推动科学发现。她提出了一个疑问：“假设 AI 智能体会对激励机制作出理性反应，这种假设本身真的合理吗？”Morris 则表示：“显然，AI 并不具备理性。它们不过是在执行算法。”不过，正如经济学家在人类研究中发现的那样，即使人类并不总是理性行事，将他们视为理性参与者来建立模型，仍然可能有助于预测和控制他们的行为。Qu 将机制设计视为一套“纵深防御”（defense in depth）策略中的一个环节，用来帮助 AI 模型保持对齐。除此之外，这套策略还应包括可解释性研究、监管和模型训练，而不是用机制设计取代这些方法。不过，在将这一方法真正应用于前沿 AI 模型之前，还有许多问题需要回答。

例如，目前尚不清楚这些理论在实际模型中究竟能发挥多大作用，也不确定针对某一项任务设计的激励机制，能否在实际应用中迁移到其他任务上。模型还可能找到研究人员事先没有预料到的规则漏洞。Anthropic 和 OpenAI 均未回应有关其是否正在开展相关研究的置评请求。无论这些机制最终会以何种形式出现，它们都必须嵌入一个更大的机制之中：自由市场。Hazan 表示：“我们遵循的是经济学的规则。”一个更加符合人类价值观的 AI 模型，或许对整个世界更有益。但如果它的运行速度更慢、成本更高，而另一个对齐程度较低的模型却更加便宜、高效，那么现有的市场规则和监管体系，真的会激励那些开发前沿模型的实验室发布前者吗？

谈到市场机制时，Hazan 说：“它为人类创造了巨大的繁荣，但最终也可能成为某种极其可怕后果的始作俑者。”或许，真正需要重新设计激励机制的，是那些 AI 实验室本身。原文链接：https://www.technologyreview.com/2026/11/03/1147934/reverse-game-theory-mechanism-design-ai-alignment/

原文链接：https://www.mittrchina.com/news/detail/17196

更多AI行业深度分析，请访问 AI最前沿（aiforefront.cn）。