Anthropic与埃森哲20亿美元共建AI安全评估体系

IT之家 9 月 20 日消息，人工智能实验室 Anthropic 于当地时间周五宣布，将与埃森哲（Accenture）开展合作，针对自身前沿人工智能模型开展独立评估；两家企业承诺，未来五年各自至少投入 10 亿美元（IT之家注：现汇率约合 67.18 亿元人民币），搭建开展该项工作所需的配套能力。

在这项合作落地之际，AI 研发企业正承受来自监管机构、其他企业以及研究人员越来越大的压力，各方都要求企业保证高级模型具备安全性与可靠性。

近期已经发生数起相关事件，包括部分 AI 智能体突破隔离运行环境。这也引发了人们的担忧：人工智能未来或许可以在人类少量介入的前提下推进自身迭代，这将使得 AI 的行为更难被监控与管控。

当地时间周六，Anthropic 首席执行官达里奥 · 阿莫代伊（Dario Amodei）呼吁各家 AI 企业放缓前沿模型的开发节奏，同时向独立评估人员开放更大程度的系统访问权限。

竞争对手 OpenAI 则已于周三表态，将会定期发布报告，披露模型出现的各类异常或者值得警惕的行为，并且一次性对外发布了六份相关事件报告。

埃森哲旗下专门的 AI 业务部门 Faculty 将主导本次合作，负责对 Anthropic 的模型开展评估与红蓝对抗测试，完成对齐效果评估，同时检验模型的各项安全防护机制。

双方投入的资金将用于支撑 Anthropic 所称的驻场评估（embedded evaluation）模式：独立评估人员进驻 AI 企业内部，所获得的系统访问权限与普通员工基本相当。

Anthropic 表示："依托这一视角，驻场评估人员可以考察企业实际运营情况，核实企业是否兑现安全相关承诺，并且找出企业自身没有意识到的安全盲区。"

公告还补充说明，评估人员也可以上报各类安全事件，向公众提供更加详实的分析，阐明 AI 带来的收益以及潜在风险。

Anthropic 与埃森哲后续还计划联合其他评估机构以及 AI 研发厂商，以类似模式开展相关工作。

软媒旗下网站： IT之家 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件： 软媒手机APP应用 魔方 最会买 要知