5.0
关注
AI SCORE
观点评论2026-08-01 19:16
AI过速发展的风险警告与业界反思
dev.to · AI#AI伦理#产业走向
Editor brief · 编辑速览
深化对AI发展风险的论述，指出社会认知、安全认证、监管的滞后性；回应「耸人听闻」的批评，强调不是技术本身，而是速度失控。
深化对AI发展风险的论述，指出社会认知、安全认证、监管的滞后性；回应「耸人听闻」的批评，强调不是技术本身，而是速度失控。
2025年5月，我发表了一篇名为《Foreboding AI：我们正在自我资助的必然崩溃》的文章。
有些人同意我的观点。
其他人说我过于夸大其词。
也许有些表述确实很夸张。但主题本身就很夸张。
然而，核心警告从来不是每个AI系统都是邪恶的、有意识的，或秘密策划人类毁灭。
警告简单得多：
我们在开发越来越强大的系统，速度快于社会能够理解、保护、规管或适应它们的速度。
一年后，我重新审视这个主题，发表了《Foreboding AI：一年之后——我们究竟在构建什么？》
到那时，AI已经不仅仅是回答问题了。
它在浏览网站。
连接真实系统。
聊天机器人长出了双手。
我用四个词结束了那篇文章：
这个速度就是问题所在。
现在，一些从事前沿AI开发的最资深人物公开表达了相同的观点。
2026年7月28日，来自全球许多领先AI公司的员工发表了一份名为《Pacing the Frontier（为前沿助力）》的声明。
截至8月1日，该声明已有1,324位经过验证的签署人。
他们来自包括以下组织：
Safe Superintelligence，
以及其他从事AI开发前沿工作的组织。
签署人不仅仅是外部活动人士或远方的学者。
Anthropic首席执行官Dario Amodei，
OpenAI首席科学家Jakub Pachocki，
OpenAI首席研究官Mark Chen，
Google DeepMind联合创始人、首席AGI科学家Shane Legg，
Meta AI首席科学家Shengjia Zhao，
Meta AI研究副总裁Dawn Song，
Safe Superintelligence首席执行官Ilya Sutskever，
Thinking Machines首席科学家John Schulman，
以及许多其他研究人员、工程师和安全专家。
这些人站得离前沿足够近，能看到正在靠近的东西。
他们要求政府帮助创建能够有意控制自动化前沿AI开发速度的机制。
这应该让我们所有人停下来思考。
说每家大型AI公司都以公司身份正式签署了该声明是不准确的。
签署主要来自个人员工、研究人员、创始人和高管。
该声明还明确指出，个人评论不一定代表其雇主的官方立场。
这一区别很重要。
准确性很重要，特别是在讨论如此重大的事情时。
但这一区别并不会削弱警告的重要性。
OpenAI公开回应表示，AI开发最终可能会加速到如此之快，以至于世界将需要控制其进步的步伐。Anthropic同样表示，其对递归自我改进的研究表明，需要能够有意减缓前沿开发同时为社会做准备的工具。
这不是证明每位员工、高管或AI实验室都同意。
但这是证据，表明对无控制加速的担忧不再局限于边缘。
警告现在来自实验室内部。
这种担忧不仅仅是下一个聊天机器人会写出稍好的电子邮件。
更深层次的担忧是自动化AI研究。
如今，人类仍然在设计、测试、训练和改进先进AI系统所涉及的大部分困难工作中发挥主要作用。
但当AI变得能够执行越来越多这类工作时会发生什么？
当AI系统能够：
调查失败，
改进模型架构，
发现优化技术，
发现漏洞，
并帮助构建它们自己的后继者时会发生什么？
AI开发将不再仅以人类研究团队的速度推进。
AI将开始加速AI。
《Pacing the Frontier》声明警告称，这可能导致能力开发加速超过我们理解或控制所产生系统的能力。它主张社会可能需要选择争取时间进行安全、监管和准备。
这是我们当前开发竞赛消耗速度快于我们能够替代的唯一资源。
在我第一篇《Foreboding AI》文章中，我写道：
这不是危言耸听。这是一条时间线。
这句话故意挑衅。
回顾起来，我会加入一些细微差别。
没有人能给出通用人工智能、广泛工作流失、递归自我改进、经济动荡或失控的确切时间线。
任何声称确定性的人都在兜售什么东西——无论是恐惧、投资、政策还是另一个AI订阅。
预测必须保持为预测。
但不确定性不能成为自满的借口。
我们不会因为无法预测灌木火灾下一个到达的确切树木而忽视它。
我们不会因为大多数建筑物不会着火而移除火离。
我们不会因为无法命名下一个攻击者而放弃网络安全。
风险管理从来不需要预言性的确定性。
严重的后果，
可观察的警告迹象，
以及足够的谦逊在确定性到来前做准备。
我的原始文章警告说，我们正在资助可能会取代人类劳动力、削弱人类能力和集中技术权力的系统。
其中一些预测可能过于强硬。
有些可能花费比预期更长的时间。
有些可能永远不会以我描述的确切形式发生。
但其核心诊断的表现远好于评论家的预期：
我们正在参与一场科技竞赛，其速度超过我们的社会适应能力。
当前沿研究人员本身要求协调方式来减缓比赛时，这现在很难被驳斥为边缘歇斯底里。
我的第二篇文章比第一篇更为谨慎。
关注已经超越了替代。
它变成了一个关于代理能力的问题。
AI系统获得了对工具、存储库、终端、浏览器、业务系统和凭证的访问权限。
它们不再仅仅生成信息。
它们在执行行动。
那不仅仅是一个更好的聊天机器人。那是一个有双手的系统。
这仍然是现代AI最重要的区别之一。
聊天机器人可以产生不正确的答案。
代理可以根据该答案采取行动。
聊天机器人可以幻想一个包名。
代理可以安装它。
聊天机器人可能误解数据库指令。
代理可以执行它。
聊天机器人可以建议不安全的代码。
代理可以提交、测试和部署它。
能力改变了错误的后果。
连接性加倍了这些后果。
自主性加速了这些后果。
现在将相同的转变扩展到AI研究本身。
该系统不再仅仅帮助开发人员编写应用程序。
它最终可能帮助AI实验室构建下一个系统。
这就是签署人关注的前沿。
《Pacing the Frontier》声明最重要的部分之一是它对竞争压力的认可。
即使一个实验室得出开发速度过快的结论，单独放慢速度也可能显得不可能。
竞争对手可能会继续。
另一个国家可能会继续。
投资者可能会惩罚谨慎。
客户可能会迁移到更强大的产品。
工程师可能会离开为更强大的计算和更少限制提供机会的实验室。
当其他每辆车都在疾驰而过时，没有人想成为唯一遵守限速的驾驶员。
这造成了一个技术囚徒困境。
每个组织可能认识到集体克制将更安全。
但每个组织也害怕单方面克制只会将前沿让给更不谨慎的人。
这就是为什么自愿承诺是不够的。
期望各个公司在同时竞争市场主导地位、投资、人才和地缘政治优势的同时解决全球协调问题是不合理的。
该声明明确认可这些竞争压力，并要求具有协调开发速度能力的国际技术和治理机制。
该行业实际上是在说：
我们可能需要制动器，但没有公司能够成为唯一使用它们的公司。
这不是我们应该忽视的市场失灵。
这是市场无法安全地自我调节的警告。
关于AI克制的每次讨论似乎都会崩溃为同一个虚假选择：
要么支持无限加速，要么完全反对AI。
我们在不禁止飞机的情况下规管航空。
我们在不禁止医学研究的情况下对医学施加安全标准。
我们要求对危险工业系统进行许可、检查和遏制程序，而不拒绝工业。
制动器的目的不是防止车辆移动。
它的目的是使移动变得可生存。
控制AI的步伐可能涉及：
独立的能力和安全评估，
对前沿训练运行的更强监控，
触发额外审查的同意阈值，
强制报告严重安全事件，
对高度危险能力的受控访问，
参与实验室之间的验证，
围绕自动化AI研究的国际协议，
以及可以暂时减缓开发的预定条件。
这些想法中的任何一个都不要求我们摧毁AI。
它们要求我们像成年人一样开发它。
我仍然是一名开发者。
我对它能做的事情着迷。
我深信辅助技术。
学习困难概念，
克服无障碍障碍，
理解技术信息，
自动化重复管理，
跨语言交流，
调查疾病，
分析复杂系统，
以及解决以前超出其资源范围的问题。
这个未来值得追求。
但支持有益的AI不需要对每个能力提升盲目信仰。
热情不是治理。
创新不是豁免。
进步的衡量不仅仅是我们能多快构建某些东西。
它还必须衡量人类是否仍然能够理解、维护和控制它所构建的东西。
强大的工具需要强大的克制。
这在我之前写它时是真的。
现在它更重要了。
AI开发以周和月为单位进行。
政府通常以年为单位行动。
教育系统以代际为单位移动。
法律系统在伤害发生后做出反应。
网络安全团队努力保护已部署的系统。
工作场所在政策存在之前整合工具。
初级职业路径在设计替代培训模型之前被打乱。
公司衡量产出而忽视理解。
我们正在积累技术债务。
我们正在积累安全债务。
我们正在积累监管债务。
而且，正如我在上一篇文章中所论证的，我们正在积累认知债务。
认知债务发生在我们允许机器执行今天的思考，而不给人类留下明天所需理解的时候。
生产力立即出现。
成本稍后到达。
一代人可能会在运营他们无法修复的系统、审计他们无法复制的决定以及批准他们不理解的工作方面变得极其高效。
那不是技术掌握。
那是依赖穿着生产力徽章。
我可以将《Pacing the Frontier》当作一个机会来说：
但那会错过要点。
我没有写《Foreboding AI》是因为我想让警告成为事实。
我写它是因为我希望我们在警告发生前改变方向。
平反不是确定性。
对危险轨迹的方向性正确不意味着每个预测的结果都是有保证的。
这也不意味着不同意的人是愚蠢的。
AI具有巨大的潜力。
理性的人可以在其时间线、概率和解决方案上存在分歧。
但我们已经超越了关于加速的担忧可以诚实地被驳斥为仅仅是对技术的恐惧的阶段。
当首席科学家、公司创始人、安全研究人员和前沿工程师要求政府帮助建立减缓开发的机制时，社会应该倾听。
不是因为这些人是无谬的。
不是因为公司应该控制公共政策。
也不是因为恐惧应该决定我们的未来。
我们应该倾听，因为最接近机器的人告诉我们，机器可能很快会比我们管理它的能力移动得更快。
我们应该要求不仅仅是关于负责任AI的模糊承诺。
我们应该要求可测量的保障。
我们应该要求独立测试，而不是实验室给自己的作业评分。
我们应该要求当强大的系统逃脱控制、表现欺骗性、发现危险能力或造成严重安全事件时的透明度。
我们应该要求围绕高风险行动的有意义的人类批准。
我们应该要求组织知道：
他们的代理可以读什么，
他们的代理可以改变什么，
他们的代理可以执行什么，
他们的代理可以访问什么凭证，
以及每个重要行动如何被追踪。
我们应该为初级工作者学习保留路径，而不是替换创建未来专家的经验。
我们应该以当前应用于模型能力的相同紧迫性资助教育、劳动力过渡和公益研究。
我们应该在紧急情况迫使我们在压力下发明协调之前建立国际协调。
首先，我警告我们正在资助我们自己的替代。
然后我警告这些系统开始行动。
现在，从事前沿AI的人正在警告AI可能很快会加速AI研究本身——而且没有单个公司能够安全地单独放慢。
警告不再在建筑外。
它来自实验室内部。
这并不意味着灾难是不可避免的。
这意味着预防仍然是可能的。
控制步伐不是投降。
谨慎不是怯懦。
克制不是进步的敌人。
有时克制正是使进步能够存活其自身力量的东西。
他们称之为危言耸听。
他们称之为夸张。
他们说未来不会那么快移动。
现在建造者本身要求世界争取时间。
我们应该在时间仍然是我们可以选择购买的东西时倾听。
Stevie G是一位驻澳大利亚新南威尔士州的资深全栈开发者和IT工程师。他构建辅助技术、传授技术概念并撰写关于加速自动化人类后果的文章。