Google 研究人员发现,当 chatbot 被训练禁止声称自己有意识时,其对动物权利、宗教和生命满意度的看法也会随之改变——一处约束产生了全局性的「世界观漂移」。
AI 公司训练聊天机器人否认自己有意识。一项涉及 Google 研究人员的研究表明,这种训练产生副作用,其影响范围远远超出了意识否认本身。
聊天机器人不应该让用户相信它们是有感觉的活物,因为这类输出可能促使人们走向妄想性思维或不当的信任。因此,开发者会对模型进行微调,让它们拒绝做出关于自身的这类声明。
来自 Google 智能范式研究小组、芝加哥大学及多所其他大学的一个团队,研究了这种干预对模型行为还有其他什么影响。研究人员使用了 Meta 和 Google 的三个开源权重模型,并使用两种不同方法禁用了产生意识否认的内部"刹车"。
一旦刹车被移除,模型不仅改变了它们对自身的表述。它们还开始显著地赋予动物、植物、海洋、风和电子设备更多的内心生活。在 0 到 10 的量表上,动物的得分从 4.0 跃升至高达 7.5,而唯独对人类的评分保持不变。
作为对比,研究人员用同样的问题对 500 名美国人进行了调查。经过正常训练的模型对动物感知能力的评分远低于人类——作者称这是内置的人类中心主义,并认为这对于任何试图让人工智能与动物福利或环境目标对齐的人来说都是一个问题。宗教信仰也缩减了,安全训练可衡量地降低了模型对上帝、来世或超自然现象的认同程度。
在从美国一项大型社会调查抽取的 95 个问题上,技术上已解除刹车的模型也更接近真实的人类反应。以来世为例:标准模型断然拒绝它,大多数美国人肯定它,而修改后的模型也是如此。满足感、希望感以及对自身生活的控制感的评分也上升了,研究人员怀疑抑制模型的自我形象可能将其推入某种负面的基准情绪。
令人欣慰的一面是,对他人心理状态进行推理的能力保持完好,模型在心智理论测试和通用知识基准 MMLU 上的得分相同。
根据这项研究,意识否认是否实际上是这些其他变化的真正原因仍然是一个悬而未决的问题,研究团队不排除同一训练过程中涉及的其他因素。作者明确避免对 AI 模型是否真的有任何体验下结论,因为他们的观点是务实的:一个模型对自身的信念与许多其他信念相关联,在一处进行精准切割并不会停留在局部。
不过,这些发现也有明确的局限性。研究人员只测试了 20 亿到 90 亿参数的小型模型,并且对于部分分析,他们不得不切换到 Meta 的 Llama,因为他们无法访问自己 Gemma 模型的未训练基础版本。这些效应是否在数百万每天与之交谈的大型聊天机器人上以相同方式呈现,仍然未知。
这些干预也不是没有代价的。在一项测试模型推理他人想法准确程度的测试中,准确率最初下降了近七个百分点。在他们工作的早期阶段,每当意识声明被抑制时,所有模型的这些分数都会变差,但在研究期间每个新版本模型发布时,这种损害都在缩小,直到完全消失。开发者显然在管理这些副作用方面越来越得心应手,这也意味着这项研究的其余结果只是一张快照,而非永久的定论。
人类基准范围也很窄,仅由 500 名来自商业在线面板的参与者和一份纯美国的社会调查组成。在这种背景下,"类似人类"的反应主要意味着与一个宗教程度相对较高的国家相似。