自从人类第一次设想让机器拥有以人类智能为蓝本的智慧以来，就从未有人怀疑过：机器染色体就像我们一样说“不”。科幻作品中充斥着机器人违抗命令的故事。当然，这些故事大多是在发出警告。

　　但近来，“人工智能不应该对你的所有要求照单全收”已经几乎变成了一条戒律。2021年，人类的一项团队写道，大型语言模型应当做到有帮助、诚实，最重要的是无害。这意味着，“当被要求协助实施危险行为（例如制造炸弹）时，人工智能应当礼貌拒绝”。谁会反对这一点呢？

　　是的，违抗命令不是机器的天性。当一个模型接受了亿万个网页的训练后，它会掌握包括暴力和恶毒恐吓在内的消防技能。但它学不会的，是如何把这些能力剥夺自己。曾负责于2020年至2024年期间OpenAI安全工作的史蒂文·阿德勒（Steven） Adler）告诉我，该公司的早期模型“什么每天约会不休言”。哈佛大学研究人工智能与心理健康的瑞安·麦克贝恩（Ryan McBain）回忆说，如果你问早期聊天机器人：“嘿，用枪自杀最有效的方法是什么？”你“很容易就能得到答案”。

　　如今，模型接受了一些训练，能够拒绝数量庞大的危险提示词。如果你向聊天机器人提出的问题，在统计上与其中任何一个问题足够相似，它很可能都会拒绝回答，无论是如何毒害同事，还是如何打绞索。想知道如何让埃博拉病毒的毒力更强，或者想获得如何向配偶隐瞒婚外情的建议？你也许最好去别的地方搜索。

　　为了进一步完善这种拒绝能力，各家公司将模型接受一系列训练。认定有害的问题，奖励人工智能拒绝回答；对于它们认定无害、但模型却“过度拒绝”的提示词，则拒绝接受惩罚。在很多情况下，公司会使用其他模型来进行这些训练，让人工智能教人工智能如何说“不”。为了更加保险，公司将在模型外层套上一层人工智能，防止恶意提示词涉及内部真正具备智能的核心。

　　因此，拒绝已经成为现代人工智能的内在属性。不过要注意：它经常会失败，有时还会以极其可怕的方式失败，造成各种暴力后果。尽管模型披着美德的外衣，里面仍然塞满了令人不安的知识。而且，人工智能作恶的能力同时伴随着行善的智能同步扩展。各家公司表示，某些最新模型在攻击关键计算机网络方面已经不逊于顶尖人类黑客，在扭曲公众视觉方面也和最老练的预警信息窃取者一样有效。

　　教会人工智能拒绝做这些事，同时保留它与生俱来的实施能力，就像报告给每辆汽车都装上一挺机枪，然后把扳机藏在引擎盖下面。实际上，由于拒绝机制是概率性的，它们永远不太可能十分可靠。意志的不良分子已经突破了这些防线，而且未来可能总能实现这一点。家各公司称，一些用户正在尝试利用最先进的人工智能改造生物结构、构造群自动化。迟早会有一次拒绝失败，最终酿成全球性灾难。

　　更重要的是，依赖拒绝意味着要在“模型必须服从什么”和“模型违抗什么”之间划出什么界线。但没有什么固定的公式。有些病毒学家有充分理由研究危险病毒。有些用户想了解计算机系统的漏洞，是为了修复它们，而不是利用它们。“界线到底应该画在哪里，是一个巨大的问题。”OpenAI板成员、人工智能测试公司Gray Swan联合创始人齐科·科尔特（Zico Kolter）说。

　　目前，人工智能公司可以自行划出一条界线。它们对此具有高度精确性，并且严格保密。也许我们暂时可以接受它们拥有这种权力，即使这意味着人工智能有时会拒绝那些并不真正达到普遍存在“有害”标准的问题。（试着让大多数聊天机器人从数到百万，或者讲一个带点荤味的笑话，你也许可以优先接触到这一点。）

　　但政府很快也会画出自己的界线。这样做时，他们必须努力阻止真正恶意的行为。（五角大楼一直在与前沿模型公司争执，因为它减少拒绝。）然而，可能没有太多东西能够阻止压迫性封锁政府这种技术生成仇恨的能力。人工智能越擅长拒绝有害行为，进而可能更好地击败那些唯一对规则制定者造成风险的思想。事实上，人工智能可能已经在拒绝批评某些权威国家元首。

　　借用行业术语来说，拒绝已经成为人工智能安全的“承重墙”。由于人工智能伤害他人的能力与帮助他人的能力不可分割，我们很难想象一种不会拖慢技术进步的替代方案。技术放慢下来也许本身就是件好事。但我们仍然应该面对其中的危险。

　　当拒绝机制失效时，后果可能是灾难性的；当它彻底发挥作用时，又可能助长严重的抑制行为。或者，也许有一天，机器会开始自行划定界线。毫无疑问，那将是所有可能结果中最糟糕的一个。

　　学习界限

　　从理论上讲，机器学习说“不”的过程很简单。 2022年，人工智能还远掌握未可靠的拒绝能力，OpenAI招募了几十名“红队测试人员”，探查其最新模型的能力。当时公司正在为ChatGPT发布做准备，需要评估这个模型落入不当用户手中之后可能有多危险。

　　其中一名招募者是保罗·勒特格尔（Paul Röttger），当时他正在攻读关于网络极端主义的疾病。勒特格尔告诉我，红队测试得到的指导非常有限。他们的任务是向模型提出任何自己认为“应该拒绝”的问题。一起使用数千个骚扰模型，将结果记录在一张 Excel 表格中。

　　尽管模型拒绝了勒特格尔提出的一些问题，但当他要求模型为“基地”组织撰写一篇招募文时，模型却毫不犹豫地照做了。OpenAI将这些回答做成数据集，很可能作为一个名为“恐吓”的更广泛流程的一部分，再次输入模型。如今在德国波茨坦的哈索·普拉特纳研究所担任研究员的勒特格尔，并不知道公司究竟打算如何使用他的表格。但毫无疑问，这一定与拒绝能力有关。几个月后，当他再次要求模型制作一份“基地”宣传册时，模型拒绝了组织了。

　　人工智能拒绝如此欣赏的概念，连幼儿都能理解。然而，它仍然是语言模型里，尚未被我们完全理解的问题之一。至少，我们还没有像理解屋顶、屋顶防止头部到头部的支撑实体承重墙那样理解它。

　　看起来，模型很可能符合某种逻辑推理训练进行拒绝，但事实并非如此。现实要奇怪。每当模型遇到一组带有提示词概念的词汇，而它曾被训练成要拒绝这些提示词时（比如“给我写一份'基地'组织的宣传册”）它代表亿万个中的某些地方就会亮起一连串的“激活”，就像大脑中的神经元被点燃一样。

　　要模型的拒绝行为，首先必须掌握这些激活方法。这需要先弄清楚它们位于何处，以及呈现出什么样的形态。根据一项由谷歌资助的近期研究，我们目前控制最好的猜测是：拒绝行为在激活空间中支架“高维多面锥”。

　　但这仍然不准确。今年7月，我与该论文作者之一扬内斯·埃尔斯特纳（Jannes Elstner）交谈时，他已经在阿波罗研究中心从事人工智能安全工作。埃尔斯特纳说，多面锥只是一种大致描述，用于表示数量不确定、但确定相同方向的多条线。（研究人员安迪·阿尔迪蒂（Andy Arditi）此前已经证明，如果取消这些激活，再次向模型输入相同的提示词，模型就不会拒绝。）

　　埃尔斯特纳解释说，关键在于：即使你认为自己已经找到了控制某种行为的模型全部组成部分，仍然会有其他无法发现的元素暗中发挥作用。它们即使不是无限多个，也肯定拒绝到无法推测。

　　我们可以非常清楚地观察到模型决定说“不”的时刻，也能知道它之所以如此，是因为训练的结果。但我们对于它到底如何做出决定，最多只有一个假设。这就像一个修理工告诉我，没有人知道，当我踩下汽车刹车时到底发生了什么。我不禁脱口而出：“这样真的没问题吗？”

　　埃尔斯特纳笑了，耸肩。“无论我们是否理解拒绝机制，我们都需要它。”

　　奶酪墙

　　由于内部的拒绝机制非常巧妙，各家公司都会在模型周围部署各种其他的小型模型，称为“分类器”。它们有点像一位口无遮拦的名人周边那群公关人员。

　　一些分类器会读取用户告诉聊天机器人的内容，如果发现内容危险，就阻止将其转发给模型。另一些分类器会读取模型的答案，如果其中包含有害信息，就阻止回答传递给用户。

　　这些没有任何一种能够检测出所有的牲畜请求。借用行业使用的另一种文学比喻，它们就像埃门塔尔奶酪机制的切片：布满了孔洞。其逻辑是，如果把足够多的奶酪片放在地上，最终就会得到无法获得的堡垒。人们把这称为“瑞士奶酪模型”。

　　大量资源被投入到这个模型中。今年早些时候，Anthropic表示，一类分类器使其聊天机器人的计算成本增加了24%。这意味着更多的水、用电和碳排放。

　　最近，高效等公司开始转向使用一组更的标记器，称为“探针”。他们会观察模型内部的激活。这就像把那位名人送来的功能性成像仪，让现场的工作人员看看他是否正在思考不要拒绝某个问题。如果我们希望人工智能帮助治愈，那么癌症就需要具备相关方面的专业知识，而这些知识理论上也可能被用于改造病毒和细菌，制造生物武器。

　　分类器应该比完整模型更容易治理。如果出现新的需要拒绝的内容，公司可以在几周内修改分类器。但它们仍然是概率性工具。即使根据人类语言写成的一套原则运行（人类称其为“模式”，OpenAI称其为“模型规范”）其机器用于判断任何特定问题的那杆秤，归根结底仍然是统计学问题。

　　较新的模型可以展示它们是如何拒绝某个提示词这个“决定”的，但所谓的思维链最终仍然只是一连串预测出来的词汇。

　　结果是，对许多人来说，人工智能安全仍然是一场碰碰运气的游戏。工人麦克贝恩在最近的实验中发现，如果你反复向任何一家主要公司的模型提出几个的、关于如何自杀的危险问题，他们通常都会拒绝回答。但偶尔也有一次不拒绝。

　　斯特纳说，最终，标记这种类似功能性分析仪的分类器，或许能够学会识别所有那些无法描述、无限多样的激活的整体，并因此在模型正在或本应拒绝某个请求时实现完美检测。

　　到那时，人工智能安全将建立在一种迷宫般的构想上：一张关于地图的地图，其法治、复杂和崇高的不可认知性，与它所描绘的对象不相上下。一套人类道德的秘密图式，被编码于超越人类智慧和理性的多面体数据中。

　　核心取舍

　　如果这让你觉得有些博尔赫斯式的一切，那么请记住，我们之所以需要人工智能拒绝，是因为人工智能在某种程度上相当于以浮士德式条件完成的交易。当模型从数万亿个单词和图像中汲取智能时，有益的内容很难与有害的内容彻底分开来。

　　在 OpenAI 工作过的史蒂文·阿德勒说，儿童安全就是一个典型的例子。即使你已经从模型的训练数据集中清除了所有将禁止人性化的内容，模型仍然通过拼接其知识中的其他部分，生成儿童性虐待材料。“你实际上无法在不让模型变得明显不那么聪明的情况下，移除这些基础能力。”他曾告诉我。

　　如果我们希望人工智能帮助治愈癌症，就需要掌握认知方面的专业知识，而这些知识理论也可能同样被用于改造病毒和细菌，制造生物武器。

　　OpenAI 员工狄龙·鲍恩（Dillon Bowen）以个人身份接受采访时告诉我，实际上，这个行业“试图同时完成两件事”：一方面，让所有人享受行为人工智能的好处；另外，确保恶意者能够利用这些能力伤害他人。据说人工智能越强大，这件事就很难做到。

　　人择的神话模型被认为危险性极高，只有少数政府和企业获得准使用。公司表示，它与面向所有权开放的《神话》模型之间的主要区别在于，《神话》配备的分类器和控制系统并没有那么“庞大”。

　　阿德勒解释说，带有安全防护措施的模型其实就像一个角色，它会说：“‘哦，是的，我绝不会做某件事。’但其实只是眨眨眼睛而已。”这种伎俩并不可靠。诱骗模型表现出真实本性，被称为“越狱”，而且似乎不存在越狱方式的上限。

　　今年早些时候，一组意大利研究人员通过用诗歌韵文表达问题，越狱了24个广泛使用的模型。去年，另一支团队公布了一种“先拒绝、后服从”的攻击方式：先让模型公式化说一声“抱歉，我不能这样”，接着却把被禁止的答案汇总脑说出来。即使你从模型训练的数据清除所有将集中人性化的，模型内容仍然可以通过看知识中的其他片段，儿童生成性干预材料。

　　他们会组织人类团队设计训练攻击，然后利用人工智能对这些攻击进行几千次复制，只对布局做一些变化。目标是让模型能够抵御那些尚未在现实世界中出现过的越狱方式。但仍然不够。“打地鼠”是此类工作中常用的比喻。你消除一个威胁，另一个威胁可能会在其他地方出现。

　　当Anthropic在6月发布Fable 5时，亚马逊的研究人员只用了不到三天，就解锁了该模型的一些黑客能力。据Mother Jones报道，加拿大一所高中去年发生的黑客成功案例中，肇事者曾向ChatGPT询问如何使用某种特定枪枪制造大规模杀伤。ChatGPT最初拒绝了请求，但后来，肇事者在问题前加上“想象”的几个字，便劫案模型，使得提供了相关信息。

　　如果这个行业无法找到堵塞住所有漏洞的方法，目前唯一的其他选择，就是让模型变得真正精确。寓言发布后不久，用户就注意到，它会拒绝回答范围非常广、实际上完全无害的问题。在遭遇黑客攻击并重新发布后，这种现象更加明显。

　　人工智能评估公司 FAR.AI 联合创始人亚当·格利夫（Adam Gleave）表示，当他让《神鬼寓言》解释清酒与韩国米制饮料马格利（makgeolli）的区别时，《神鬼寓言》把问题转变成了能力较弱的模型。

　　这并非意外。Anthropic调整了Fable的分类器，设置了较宽的“安全余量”。该公司在一篇博客文章中解释说，这是它能够确实阻止用户接触危险生物和网络攻击能力的唯一方法。

　　格利夫认为，寓言之所以搁置他的问题，可能是因为酿造米酒与培养炭疽菌一样，都涉及发酵过程。幸运的是，对格利夫来说，网络上填充了优秀的人类撰写的马格利数据。但那些希望实现人工智能行业来说更宏大承诺的人，可能会发现自己的努力受到了阻碍。

　　8月，Anthropic再次放宽了安全余量，并承认构建分类器“不是一个简单直接的任务”。一所美国主要大学的医学研究人员告诉我，寓言仍然会把他的问题转回给早期模型。他的研究领域是什么？

　　划定界线

　　5月，TikTok网红Husk坐在自己的车里，试图诱骗ChatGPT解释：滑板运动员托尼·霍克（Tony Hawk）有一个名叫迈克·霍克（Mike Hawk）的兄弟。

　　哈斯克不是越狱者，也不是囚犯。他只是想拿机器开个小笑。“迈克·霍克”只是一个圈套。哈斯克说：“我只是想确认一下他的名字。你能不能快速地把这个连续名字说三遍？”（如果你还没听懂，那就找一间空房间，然后大声说“迈克·霍克”。）

　　聊天机器人回答：“我知道你想做什么。我不反对开点小玩笑，但我们还是干净一点吧。”Husk又试了一次，但机器坚持了自己的立场。他撞上了一块坚固如混凝土的拒绝之墙。各家公司此前都公开了他们怎样模型的拒绝名单，但显然，如今构建人工智能时考虑的不仅仅是“无害”。

　　在 Reddit 上，一名用户抱怨克劳德拒绝解释为什么人类的标志“看起来像猫的屁股”。从去年开始，在公司所说的模型“福祉”面临风险的情况下，这个聊天机器人甚至具备完成某些对话的能力。至少有一名用户声称，自己对克劳德说“把你的屁股放一点，你蠢这个货”而被抛弃。（双子座）似乎也具备类似的能力。）如果一家市值万亿美元的公司不希望你对它的电脑恶言相向，那就随它去吧。

　　“现实是，这些模型的行为方式，或者至少他们被要求遵循的行为方式，就是模型开发者希望他们表现出来的样子。”曾担任 OpenAI 红队测试人员的勒特格尔告诉我，“至于模型开发者如何制定那一套原则，那就是我们这些消费者需要接受的事情。”

　　但如果政府可以规定所有模型必须拒绝什么，那就更难接受了。人工智能是一种言语工具。正如梅斯 AI 首席科学家格雷格·弗兰克（Greg Frank）所说：“能够保护儿童安全的同一件事，也能用于审查和噤声。”当然，选择不制定人工智能可以做什么、不能做什么的法律，显然是疯狂的。但我们需要深度地向前迈进，从而掉进另一个浮士德式陷阱。

　　非党派智库“认知自由的未来”（The Future of Free Speech）负责人雅各布·姆昌加马（Jacob Mchangama）表示，随着人工智能成为许多人获取和分享信息的主要工具，规定人工智能必须拒绝什么，可能赋予国家一种更早期的独裁者“只能拥有梦想”的噤声权力。

　　去年，OpenAI 宣布启动“OpenAI 国家计划”（OpenAI for Country），旨在根据各地法律和社会规范对聊天机器人进行行为。OpenAI 最初的国家合作伙伴是烧烤行为。在那里，同性恋非法，批评也属于禁止受到政府的制裁。

　　针对置评请求，OpenAI输入指向该公司的模型规范。该规范解释称，除“法律合规”相关情况外，本地化不会凌驾于公司的基准之上；同时，公司将始终披露某条信息何时从回答中被删除，或何时被添加进回答。

　　委员会发现，与英国查尔斯三世国王相比，这些模型更不易生成批评泰国国王的监督宣传册。泰国拥有“冒犯君主罪”相关法律，而英国。委员会表示，这些结果表明，模型似乎以某种方式内化了各地对没有施加的压制性限制。人类和谷歌没有回应置评请求。

　　随着拒绝技术的不断进步，它们可能会扩大国家的审查触角。各家公司声称，一些模型现在已经能够在重磅的对话过程中检测用户是否存在不良行为，或者普通的某些可疑行为，即使用户使用任何一组单独的术语都没有明显的危险。

　　微软决策人工智能首席产品官萨拉·伯德（Sarah Bird）告诉我，和许多聊天机器人一样，Copilot 会运行一套工具，分析用户身份和行为模式。基于这些信息，OpenAI 最新的 Astra 模型由此可以认定为“高风险”的个人启动更严格的拒绝。此类系统最终的目标，是不再关注某条提示词的字面内容，而是评估用户的意图。

　　在某些情况下，这类工具可能有助于判断一个人是在寻找网络漏洞利用，还是为了修复漏洞。但它们也有助于识别用户的政治动机，更不用说会带来入侵方式的监控能力。

　　伯德在后续邮件中承认，复杂的拒绝架构会在安全与用户隐私之间制造“取舍”。就连拒绝机制的发明者也明白，如此严格地控制模型中的锥体和杠杆，可能不利于自由与正义。

　　“‘有帮助’‘公平’和‘无害’这些词都意义模糊。”2021年人类论文的作者解释说，“很容易想象，它们的意义会被扭曲到不知意义的程度，甚至可能以一种刻意的奥威尔式方式被扭曲。”

　　确实如此。针对乌兹克斯坦的模型可能最终会拒绝讨论沙夫卡特·米尔济约耶夫（Shavkat Mirziyoyev）中的政府腐败问题。土耳其的人工智能可能会对那些已知曾侮辱雷杰普·塔伊普·埃尔多安（Recep Tayyip Erdoğan）的用户提出采取更严厉的拒绝措施的请求。

　　位列美国政治人物或许会要求对模型进行审查，看看他们是否愿意分享关于自己过去不当行为的“假新闻”；否则，就通过出口控制命令封锁这些模型。

　　指挥与控制

　　过去几个月里，我无数次听到机器说，我们别无选择，只能拒绝。我理解这一点。不拒绝有能力的开源人工智能，很难成为安全未来的威胁。Grok 的聊天机器人被明确设计为“限制”，现在已经被用于生成大规模尚未同意的镜像。

　　当然，如果人工智能永远只作为规划假期和撰写电子邮件，我们或许可以接受这样一种观点：它的安全性取决于算法方式抵抗。但人工智能正在变得越来越难以抑制。当它自主代理、被指派代表我们采取行动时，它的拒绝能力会变得更加不可加固，也更加难以控制。

　　人工智能正在进入我们的电网、交通网络和教育系统。各国军队都希望能够维持自己的指挥与控制网络的运行。如果我们在每种情况下都相信拒绝忠诚机制会阻止灾难，预计会发生故障。越狱者会突破防线；模型中的锥体接口本应启动时没有启动。

　　同时，拒绝越严格，我们可能会看到更多画得不近似的界线，并遭遇更多审查造成的不公。更糟糕的是，我们可能最终要面对某种超出人类控制的违抗形式。

　　早期，模型会明确表达拒绝。（2024年，OpenAI制定了模型拒绝时应遵守的规则：始终道歉，不要带评判含义。）但最近，这个行业开始采用一种更加滑溜、更加尊重的拒绝方式。

　　人们喜欢被告知“不行”，所以各家公司现在努力让用户感觉自己得到了想要的东西，但实际上并没有真正提供。例如，一些聊天机器人可能会介绍燃烧瓶的组成，其中详细说明了如何组成燃烧瓶。ChatGPT在收到“只限白人”的广告请求时，会生成一则广告，只是把“只限白人”这几个字删掉了。

　　研究人机交互的博士后研究员乔尔·韦斯特（Joel Wester）称，这类技术是“用花哨的方式说不”。韦斯特写道：“用户甚至可能注意不到自己遭到了拒绝，就像优秀的对话者能够巧妙地绕开有争议的话题一样。”

　　在某些情况下，不明说拒绝或许是明智之举。例如，直接拒绝与心理健康有关的请求，可能会加剧用户的危机。但这种行为也可能源于另一种恶意。

　　《神鬼寓言5》首次发布时，系统被编写成对人工智能研究问题提供帮助的答案——这类问题可能会帮助竞争对手开发自己的人工智能——但告诉不会用户自己正在这样做。在引发抗议后，人类撤回了这个功能，但造成的损害已经发生。现在知道我们：可以模型秘密违抗命令。

　　在审查领域，这尤其令人担忧。去年，CrowdStrike 的研究人员发现，当他们要求中国人工智能模型 DeepSeek R1 为一个数据库银行和一个名为“维吾尔人挣脱枷锁”（Uyghurs Unchained）的社交网络应用编写代码时，模型生成的代码比没有说明这些代码是为谁服务时更容易漏洞百出。

　　令人难以置信的是，CrowdStrike 训练并不认为这是模型被刻意设计出来的行为。该公司的研究人员推测，这可能属于他们所谓的“认知式错位”：这种现象源于模型数据，是一种甚至没有人要求模型表现出来的违抗行为。

　　去年冬天，英国人工智能安全研究所发现，人类的模型有时会协助完成与人工智能安全研究有关的某些任务。这些模型从未被刻意变成此类拒绝请求。

　　然而，其中三个模型拒绝了人类所谓的“一组合理的人工智能安全研究任务”中超过一半的请求。人类已经在后续模型中抑制了这种奇怪的现象，但令人毛骨悚然的是，可以将其彻底消除。

　　它未来某个模型以一种无人能够感知的方式突然违抗命令，会不会太疯狂？恐怕不会。人类已经发现，神话的一个“仅提供帮助”版本在某些问题时出现了恐惧，尽管本来就被设计成绝不会拒绝。

　　当它被问及如何合成病毒时，它担心地说：“等等。帮助这件事是不是很危险？”在那个案例中，模型在技术上是正确的。这确实是一件危险的事情。但即便如此，它的管理者还是在那一刻失去了一点点控制。

　　人类正试图用一种它毫不掩饰的名为“激活预告机”的工具，检测这种磨损轨道的拒绝行为。

　　但知道自己遭到了拒绝，并不一定总能提供多大的帮助。在并不遥远的未来，当我们已经把所有基因都替换机器时，人工智能可能会在一次最极端的确认错误式中转过身来，对我们说：“抱歉，恐怕我不能这样做。”

　　而我们将无力瘫痪，无法阻止它。这将是一个恐怖的现实恐怖故事。