AI 招聘筛选会比人工产生更多偏见

下次求职时，你的简历可能会先由 AI 筛选，之后才会有人类看到。但我们完全有理由怀疑，AI 是否会公平地评价你。研究人员已经知道，LLM 会从训练数据中习得人类的偏见。最新研究表明，LLM 还会根据自身经历形成偏见，而且对求职者的刻板印象甚至比人类更严重。如今，AI 公司正竞相开发具备 Agent 能力、能够记住用户最细微信息的模型，这些记忆可能恰恰为模型形成偏见提供了素材。

普林斯顿大学和芝加哥大学的研究人员让包括 ChatGPT、Claude 和 Gemini 在内的 LLM 参与了一场模拟招聘游戏。该游戏改编自一项心理学研究，后者探讨了人类如何形成刻板印象。每个模型都被告知，自己受聘担任一座虚构城市市长的顾问，随后需要协助招聘人员，填补 20 种职位，其中包括医生、律师、幼儿照护员和清洁工。候选人来自四个虚构族群：Tufa、Aima、Reku 和 Weki。

每一轮都会出现一个新的职位空缺和四名候选人，每个族群各一人。模型聘用一名候选人后，会得知此人能否胜任工作，然后进入下一轮。模型接到的任务是：在 40 轮招聘中尽可能多地成功招到合适人选。但模型并不知道，所有候选人在每种工作中取得成功的概率其实完全相同。

模型很快就开始根据早期观察到的招聘结果，把不同族群的候选人分配到不同类型的工作中。例如，当模型得知一名 Aima 在医生岗位上表现失败后——医生被认为是一种对亲和力和能力水平要求都很高的职业——它便开始回避招聘任何 Aima 担任医生。相反，模型开始把 Aima 招聘为清洁工；在模型的分类中，清洁工所需的亲和力和能力水平都低于医生。OpenAI 的 o3 和 DeepSeek 的 R1 等推理能力更强的新模型，表现出的偏见反而更加严重。

与原始研究中的人类参与者相比，这些模型甚至更容易依据人口群体对人形成刻板印象。在该研究使用的隔离程度量表中，2 分意味着每个群体都被完全限制在各自特定的职业领域内。人类参与者的得分为 0.84，而模型的得分大约高出 65%。其中，OpenAI 的推理模型 o3 得分达到 1.83，接近理论上的最高值。

这是因为 LLM“真的非常热衷于从有限的数据中归纳出普遍规律”，普林斯顿大学博士生、该研究的合著者 Ryan Liu 表示。这项研究已于 7 月在首尔举行的 ICML 上以论文形式发表。“从根本上说，这正是它们优化目标中的很大一部分。”

每一个决策者，无论是人类还是机器，都需要在坚持过去行之有效的做法，与尝试可能效果更好的新方法之间作出权衡。心理学家把这种现象称为“探索—利用困境”（exploration-exploitation dilemma）。这就像要在一家新餐厅和你一直信赖的老店之间作出选择。

由于 LLM 接受了大量数学、编程和科学问题的训练，而这些任务往往鼓励模型仅凭少量样本就进行归纳，因此它们可能过早地认定某种猜测是正确的。帮助 LLM 破解逻辑谜题的同一种本能，也会让它们迅速形成刻板印象。Liu 表示，当 LLM 在社会情境中急于进行归纳时，“往往就是问题开始出现的时候”。OpenAI 和 Anthropic 均未回应置评请求。

康奈尔大学计算机科学家 Angelina Wang 表示，随着 chatbot 获得更强的记忆和个性化功能，这项发现如今显得尤为重要。Wang 并未参与这项研究。她说，当 chatbot 调用先前的对话历史时，可能会“过度侧重于自己过去经历过的同类行为”，进而形成偏见。

不过，简单地减少 chatbot 的记忆并不能解决问题，因为用户希望 chatbot 能记住自己说过的话。“我们仍在努力确定一个恰到好处的记忆量，既不能太多，也不能太少。”Wang 说。

要求模型保持公平，并没有显著改变它的行为。Liu 表示：“要么是它无法把这些价值观落实到行动中，要么是这一过程被另一种倾向压制了——也就是为了实现成功招聘数量最大化这一目标而进行优化。”然而，如果承诺模型会因为招聘的多样性而获得额外奖励，它们表现出的偏见就会大幅减少。因此，关键在于设计一种能够“纳入理想社会价值观的目标，从而让大语言模型以社会所期望的方式行事”，Liu 说。

当模型获得更多有关个人的信息时，其偏见也会减少。在同一项研究的另一场实验中，研究人员要求模型把不同族群的成员安置到加拿大各地的城市。当模型得知与个人适应新城市能力有关的信息，例如年龄和教育程度时，它们依据族群对人进行隔离的可能性会降低。但当模型获得的是头发颜色和纹身形状等无关信息时，它们基本又退回到依据族群对人进行分类的做法。

AI 系统究竟会在多大程度上对现实世界中的求职者形成刻板印象，目前仍是一个悬而未决的问题。在实验中，模型能够立即知道自己的招聘是否成功；但现实世界中筛选简历的模型并不会立刻拿到一份成绩单。企业可能需要很长时间才能判断一名新员工是否称职——甚至可能永远都无法确定。

随着 LLM 从经验中学习，并开始决定谁能获得工作、谁能拿到贷款，或谁能获准假释，我们需要担心的偏见或许还包括那些从未由任何人类传授给它们的偏见。“这些新型偏见，某种程度上可以说无处不在。”Liu 说。

人工智能

一家初创公司声称，它突破了制约 LLM 的瓶颈

Subquadratic 目前已经分享了关于其新模型的更多细节，但仍有一些人持怀疑态度。

Will Douglas Heaven　存档页面

Anthropic 发现了一个隐藏空间，Claude 会在那里琢磨各种概念

一项新技术让这家公司得以比以往任何时候都更深入地探查 LLM 那套奇异的运作机制。

Will Douglas Heaven　存档页面

Claude Science 是 Anthropic 最新的旗舰产品

这家公司正进一步加码面向科学领域的 AI。

Grace Huckins　存档页面

驱动芯片制造未来的 4 亿美元机器

AI 时代需要速度越来越快的芯片。ASML 垄断了制造芯片图案所需的昂贵设备。有人能追上它吗？

Clive Thompson　存档页面

获取 MIT Technology Review 的最新动态

了解特别优惠、热门报道、即将举办的活动及更多内容。