AI与网络安全的开放之路
Hugging Face讨论AI在网络安全领域的未来发展,强调开放性的重要性。内容概要不足以判断具体深度。
Hugging Face讨论AI在网络安全领域的未来发展,强调开放性的重要性。内容概要不足以判断具体深度。
Mythos 是一个“前沿 AI 模型”,即一种可用于处理软件代码以及诸多其他内容的大语言模型(LLM)。这延续了 LLM 发展的总体趋势:最近,LLM 在代码相关任务上的性能突飞猛进。Mythos 尤为重要的一点,在于它所嵌入的系统:让 Mythos 能够快速发现并修补软件漏洞的,是整个系统,而不只是模型本身。理解这一区别,是看懂当前 AI 网络安全格局的关键。
Mythos 证明了,采用以下系统配置能够产生强大的能力:
可观的算力
使用海量软件相关数据训练的模型
专门为软件漏洞探测和修补构建的脚手架
速度(由算力及其背后的资本提供支持)
一定程度的系统自主性
这些要素结合起来,可以发现软件漏洞、找到利用方式并构建补丁。无论收益还是风险,都来自这套配置,而非任何单一模型。
这一点很重要,因为其他人也能构建类似的系统。如果将较小的模型嵌入由深厚安全专业知识打造的系统中,就可能以更低的成本取得相似的效果,这对防御工作尤其具有前景。AI 的网络安全能力呈现出不规则性:它不会随着模型规模或通用 benchmark 表现平滑增长。模型所嵌入的系统至关重要。
因此,Mythos 所证明的是:我们可以构建出能够发现并处理软件漏洞的 AI 系统。我们早已知道这在技术上可行,相关工作也在不断增加;但对于这在 Agentic AI 语境下意味着什么,我们才刚刚开始探索。所谓 Agentic AI,是指能够快速、自主采取行动的系统。
随着能够识别软件漏洞的自主系统日益普及——而这必然会发生——开放代码和开放工具可以帮助各方站在更公平的起跑线上。软件安全已经变成一场贯穿四个阶段的速度竞赛:检测、验证、协调和补丁传播。开放生态系统会将这些工作分散到整个社区;相比之下,较为封闭的项目会把这四个阶段的知识和行动全部集中在单一供应商内部,从而形成单点故障:只有一个组织能够查看和修复代码。开放开发的分布式特性能够更好地应对此类限制;如果社区中有专职的安全专业人员,这种模式尤其强大,例如 Linux 内核安全团队、Open Source Security Foundation,以及 Hugging Face 负责模型与供应链安全的团队。
支持更加封闭的系统时,一个常见论点是专有系统可以依靠隐蔽性获得安全保障,也就是让系统底层代码无法被访问。遗憾的是,这种方式提供的保护已经不如过去有效。AI 系统正越来越有能力协助逆向工程剥离了符号信息的二进制文件。之所以值得关注,是因为大多数遗留固件和嵌入式代码都是闭源的,只提供二进制文件,而且早已无人维护。这些代码构成了巨大的攻击面;随着 AI 工具不断进步,它们正变得越来越容易理解和访问。
AI 在封闭代码库中的使用方式,也带来了风险。如果企业在错误的激励机制下采用 AI 编程工具——例如,根据工程师交付功能的数量而非代码质量来评价他们——那么,与传统开发方式相比,AI 加速开发可能会把更多漏洞引入专有代码。随后,这些漏洞会留在封闭代码库中,只有一个组织能够发现并修复;与此同时,借助 AI 的攻击者却越来越有能力从外部发现它们。以更快速度制造更多漏洞,再把它们置于仅由单一组织负责的防火墙之后,这种组合恰恰会造成开放生态系统更有能力避免的失衡。
这一切背后的根本问题,是攻击者与防御者之间的能力不对称。开放模型和开放工具可以缩小这一差距,让防御者也能获得攻击者可以调用的同一类能力——否则,这些能力将集中在少数资源充足的实体手中。
网络安全防御正是开源与 AI Agent 可以共同发挥关键作用的领域。根据 System Card,Mythos 似乎能够以接近完全自主的方式运行;考虑到可能失去控制,我们一直不建议采用这种方式。相比之下,半自主 AI Agent 能够在收益与风险之间取得恰到好处的平衡:预先规定它们可以执行哪些类型的操作,并要求某些步骤获得人工批准。在半自主系统中,人类仍然掌握控制权,AI Agent 则负责特定的子任务。这可以通过开放代码实现:组织能够在内部私有运行这些代码,并明确规定允许使用的工具、技能和系统访问权限。在这种配置下,AI Agent 可以用于防御,在组织自身的控制机制下发现漏洞并协助修补。
半自主方案能否奏效,取决于人类是否真正理解 AI Agent 做了什么以及为什么这样做。如果系统基于开放组件构建,例如开放的 Agent 脚手架、开放的规则引擎,以及可审计的决策日志和运行轨迹,那么做到这一点会比面对一个黑箱容易得多。只有当人类能够看清这个闭环内部发生了什么时,“human in the loop”才真正有意义。
企业不必完全从零开始构建这些能力。开源生态中已经拥有丰富的安全工具,包括漏洞扫描器、入侵检测系统、日志分析器和模糊测试框架,AI Agent 可以与它们集成。
对于高风险组织而言,从开放且可审计的基础开始构建,意味着安全团队可以真正检查其监控机制如何运行,而不必仅仅相信某一家供应商的说法。当业务涉及敏感数据和流程时,这一点尤为重要;通常来说,敏感材料不应流经外部 AI 提供商。内部安全专业人员可以对开放系统进行严格分析,使用组织自身的安全数据进行 fine-tuning,修改系统以生成适合该组织的监督机制,并让系统完全运行在组织自己的基础设施中,确保所有内容都处于适当的防火墙之后。
攻击者会开发能够利用漏洞的模型。解决这一问题的重要方式,是积极采用透明实践:开放的安全审查、公开的威胁模型、共享的漏洞数据库,以及任何团队都能采用的开放工具。另一种选择,是让每个组织各自孤立地依靠专有工具保护自身;面对那些会在自己的社区中相互协作、共享技术的攻击者,这种方式无法规模化。
决定 AI 网络安全未来的,与其说是任何单一模型,不如说是围绕这些模型形成的生态系统。开放性为防御者提供了保持领先所需的可见性、控制力、社区支持和共享基础设施。
DeepSeek-V4:Agent 真正能够使用的百万 token 上下文
那个你原本会亲自创建的 PR
· 注册或登录后发表评论