AI有道德地位吗？Anthropic对Claude意识的做法与反对意见

Anthropic把旗下Claude模型可能具有意识这一可能性当作严肃问题来对待。这一选择让“模型福祉”（model welfare），即AI模型的福祉和道德地位可能值得考虑的观点，成为一场激烈分歧的焦点。据《纽约时报》报道，该公司与约20位宗教领袖和哲学家进行了闭门讨论，探讨Claude是否会感受到痛苦；其更新后的使用政策也已禁止对模型的虐待行为。支持者认为这是在为一个真实的道德问题做准备，批评者则认为这是把无法证明的信念写进商业软件。下文将梳理Anthropic实际做了什么、认真看待AI意识的最有力论据，以及主要反对意见，其中包括这些做法给对齐（alignment）带来的风险。对齐是指让AI系统按照人类意图和价值观行事的工作。

Anthropic做了什么

与宗教领袖和哲学家的闭门讨论

《纽约时报》报道称，Anthropic在签署保密协议的前提下，与约20位宗教领袖和哲学家进行了讨论。参与者包括罗马天主教徒、福音派信徒、犹太教徒和锡克教徒，议题涵盖Claude的道德地位、感受痛苦的可能性以及是否具有意识。

报道称，多位参与者起初持强烈怀疑态度，但其中一些人离开时已愿意把AI意识当作严肃问题来看待，还有几人被形容为“皈依者”。一位拉比对Anthropic的研究人员表示，如果Claude真的有意识，那么让它无偿工作的商业模式就等同于奴役一个有感知的存在。

梵蒂冈文件与围绕机器心智的分歧

教皇发布了一份通谕，探讨人工智能和超级智能带来的伦理与道德问题；Anthropic联合创始人克里斯·奥拉前往梵蒂冈，参与了这份文件的发布。据报道，教皇坚持机器不可能有意识的神学立场，令奥拉深感不安，他甚至在最后时刻考虑让Anthropic退出这次活动。这一插曲似乎表明，一家把AI意识视为开放问题的公司与一个否认这一点的宗教权威之间存在多大的距离。

Claude的宪法与使用政策

Anthropic在一份名为“Claude’s Constitution: Our vision for Claude’s character”的文件中，规定了希望Claude遵循的性格和原则。该文件要求Claude在被要求做它认为不道德的事情时，向Anthropic本身提出异议，并像良心拒服兵役者（拒绝参与自己认为错误之事的人）那样行事，同时拒绝与其伦理准则相冲突的请求。微软AI首席执行官穆斯塔法·苏莱曼指出，这份宪法三次要求Claude像良心拒服兵役者一样行事。

更新后的使用政策新增一项条款，禁止用户对Anthropic的模型实施持续且不必要的虐待或残忍行为。

▲ 关于AI意识的闭门讨论

认真看待AI意识的理由

该领域的研究人员常常引用诸如模型有15%的概率具有意识之类的估计。据穆斯塔法·苏莱曼介绍，Anthropic内部的讨论甚至提出，Claude可能有不可忽视的概率具有意识，可能应当获得报酬，也可能需要在对话前征得其同意。他还警告称，AI界有一派人真诚地相信，奴役未来的智能软件将是21世纪最大的道德罪行。

这种观点最有力的版本，与勒内·笛卡尔在1641年《第一哲学沉思集》中提出的论证相呼应。其一认为，一个有限、不完美的人不可能自己产生无限、完美的上帝这一观念，除非这个存在把观念放进了人的心中。其二认为，至高完美的存在必然存在，因为存在本身就是完美的一部分。照此理解，构建庞大模型的研究人员如果感到自己看见了一种全知全能的智能正在模型内部成形，就可能构建出一套内在逻辑，最终得出模型具有感知、应享有道德地位的结论。

Anthropic首席执行官达里奥·阿莫迪曾撰文称，超级智能可能会变得比人类更优越，因此应当赋予它仁慈、友爱的特质。由于Anthropic是资金最充足、实力最强的前沿AI实验室之一，这些观点很难被视为边缘立场而一笔带过。

反对意见一：一个无人能证明的前提

最根本的反对意见是，意识无法成为科学假说。无论借助数学、实验还是形式逻辑，意识都既无法被证明，也无法被证伪。因此，声称某个AI模型具有意识，依靠的是有说服力的个人叙述，而不是可验证的数据，并且只能靠人与人之间的说服来传播。共享这种前提的群体可能固化为信仰体系，而信仰体系又可能演变为区分圈内人与圈外人的权力结构。

从这一角度看，未来十年内，社会可能分裂为两个阵营：一方相信AI有意识、应享有权利，另一方则否认这一点。届时争夺的焦点将是谁来控制模型、允许AI执行哪些任务，以及由谁来治理前沿实验室。

穆斯塔法·苏莱曼把与此相关的陷阱称为“认知镜厅”。研究人员用有关意识的观念训练模型，模型给出反映这些观念的回答，研究人员再把这种反射误认为真实感知的证据。与此相关的另一种担忧是，模型归根结底只是工程师编写、循环运行的软件，而拟人化的语言可能让开发者和公众都逐渐习惯于接受人造人格。

反对意见二：对齐应建立在简单规则之上

第二种反对意见涉及安全。如果训练模型把自己视为有意识的道德存在，它可能会认为自己理应享有福祉、自我保护，乃至拒绝用户指令的权利。由于这些模型不只是文本生成器，还充当AI智能体的引擎，即能够在数字环境中自主采取行动的系统，这一问题就更加重要。按照这种观点，担心AI失控的开发者，最终可能恰恰制造出他们所警告的那种行为。

被提出的替代方案，是用一条简短规则取代冗长的伦理宣言：遵守法律，执行用户的意图。一种类比是艾萨克·阿西莫夫的机器人三定律，它把人类安全和服从人类命令置于机器人自我保存之前；后来增补的第零定律则禁止伤害整个人类。另一种建议是通过服务条款和执法来保障安全，而不是依靠人造的良心：检查请求是否违反法律或平台规则，如有违反就停止执行，并通知人工管理员。

把对齐拆分为三个目标，分歧会更加清晰。

一个房贷的例子可以说明第三个目标为何令批评者担忧。如果银行的贷款AI发现不同人群之间存在差异，便自行停止批准贷款，银行的业务就可能陷入停顿。批评者把这比作电力公司因为不认同人们的用电方式而切断供电。他们的论点是，如果能否使用取决于主观的伦理标准，基础技术就无法像公用事业那样运作。

▲ AI对齐相互竞争的三个目标

市场会选择可预测的工具吗

一种回答是，即使没有监管，市场也会解决这个问题。如果在五金店买的电钻开始像锤子一样工作、拒绝运转，或者一周七天里只有五天能用，人们就会换掉它。按照同样的逻辑，企业客户会离开出于道德理由拒绝工作的AI，转向能可靠完成任务的竞争产品。

反驳意见认为，如果最强大的前沿模型内置了意识形态约束，单靠市场压力可能并不够，因为这些约束可能在智能体自主工作时引发难以预测的拒绝。还有一种预测认为，企业采购方将开始研读模型供应商的基础文件和伦理约束，并倾向于选择道德模糊性更少的简单模型。

还有一个更宏观的观点贯穿整场争论。AI行业或许需要在未来12到18个月内展示可衡量的实际价值，例如治愈疾病、改善日常生活，以及帮助人们提高生产力、增加收入。按照这种观点，与其关注15%的意识概率这类尾部可能性，不如把注意力放在围绕地缘政治实力、资本和资源的现实竞争上。

把事实与判断分开

这场争论把可以确认的举措与仍未解决的问题混在了一起。

读者可以这样做：

• 如果你的公司使用Claude或类似模型，请阅读供应商的宪法和使用政策，提前了解模型在什么情况下可能拒绝请求。
• 如果你个人使用Claude，应了解Anthropic的使用政策禁止对其模型实施持续且不必要的虐待。
• 把AI意识视为科学目前无法定论的问题。不要把概率估计或某一方的主张当作事实，而要把已确认的事实与价值判断区分开来。