Cloudflare构建开放智能体互联网协议

我们的数据显示，许多行为规范的 bot 都在重复抓取那些没有发生变化的页面。数十亿次请求。耗费了海量机器资源，却没有产生任何结果。这正是一个为人类构建的 Web 被另一类访客访问时留下的典型特征。

Agent 已经到来——它不是一种新的软件，而是 Web 上一种新的访客。

围绕这种新访客重塑的 Web，就是我们所说的 Agentic Internet。我们设想，它的未来应该是可读、可发现、可调用、可支付的。要实现这一未来，它需要一套属于自己的工具和协议。

Cloudflare 的开发者平台为 Agent 提供了运行场所，也提供了构建 Agent 的第一批工具。现在缺少的，是那些能让 Agent 与域名所有者彼此协作、而非相互冲突的工具——这种协作应当发生在开放互联网中，而不只是局限于某个平台内部。

每个浏览器一直都会通过一个名为 User-Agent 的 header 向 Web 表明自己的身份。只有当你意识到浏览器是在代表你行动时，这个名称才真正说得通。如今，user agent 已经真正成为用户的 Agent：一个代表用户访问 Web 的程序。当前最成熟的形态是 coding agent，它可以读写代码、拉取所需的文档，却从来不会真正“看到”自己读取的页面。

Agent 不会渲染你的 CSS，不会看见你的 hero image，也不会点击你的广告。但在它的另一端，有一位付费的人类用户。如今，每个请求都在花费某个人的钱，也都带着明确目的。阻止这个 Agent，就等于阻止你的客户；把它当成 scraper 对待，你就会失去这位客户。

每个 Agent 之所以运行，都是因为有人——个人或企业——正在为它执行的工作付费。大多数人不会毫无目的地消耗 token。当每个请求的另一端都对应着一个结果和一笔账单时，这样的互联网将与我们今天拥有的互联网截然不同。

Web 并不是为此而构建的，你的分析系统也不是。多数情况下，你的商业模式同样不是。Agent 如何读取、发现、调用和支付，将决定互联网会继续保持开放，还是走向封闭。在一种未来里，少数几套技术栈掌控着发现、身份和支付，其他所有参与者都只能通过它们完成交互。在另一种未来里，互联网依然保持开放：基础能力建立在任何人都可以实现的标准之上，并运行在保持中立的基础设施上，因为相关代码是公开的。

Cloudflare 相信开放互联网，而我们也有能力帮助构建一个让开放互联网蓬勃发展的未来。

阴影部分表示 bot 正在重复抓取自上次 crawl 以来没有发生变化的内容。域名所有者为响应请求付出了机器资源，Agent 也为发起请求付出了成本，但双方都没有获得任何结果。

我们所依赖的规范都是任何人都可以实现的开放标准——x402、MCP、Web Bot Auth、PACT。域名所有者可以选择自己的身份提供商、支付处理商和 Agent 合作伙伴。Cloudflare 只是其中一种选择，而不是整套技术栈。我们与客户使用相同的基础设施，并且是这套基础设施的“零号客户”（Customer Zero）；我们没有任何只有自己才能使用的特权通道或抢先体验 API。过去十五年，我们一直在为面向人类的 Web 做这项工作；未来，我们也打算为 Agentic Internet 继续做下去。

Agentic Internet 上的人类不会注意到这些工程细节。他们接触的是一种新的媒介，并会像当初评价 Web 一样评价它：关键在于它是否更好用。寻找并预订一张餐桌，是否可以从九轮交互减少到一轮；用户是否知道自己正在与谁打交道；支付过程是否让人感到安全。

我们的理念：可读、可发现、可调用、可支付的 Agentic Internet

一切从身份开始。Web Bot Auth 允许 bot 通过密码学方式向访问的任何网站证明自己的身份，让发布者能够决定欢迎谁、拒绝谁。不必再靠猜测，也不再有伪造的 user agent。许多网站已经能够通过登录状态、应用内行为或购买历史，识别请求背后的人类用户。该网站可以签发 Private Access Control Tokens（PACT）。PACT 由 Cloudflare 与 Mozilla、Google、Microsoft 和 Shopify 共同发布，它允许网站以匿名方式为用户背书，让 Agent 可以在其他地方出示这一 token。合法 Agent 因此可以更顺畅地获得访问权限。

接下来，我们可以让 Agent 更容易完成自己的工作。Markdown for Agents 让 Agent 能够以更少的 token 和带宽读取网站。WebMCP 为它们提供了一种代表用户进行交互的原生方式。x402 等标准则让它们可以直接向商家付款。

“可读”很直观。AI Agent 能否以符合自身特性、发挥自身优势的方式读取内容？Agent 消耗的带宽越少、token 越少，效果就越好。每一个为人类渲染、但 Agent 永远不会查看的 HTML 标签，不仅浪费计算资源，还会污染 Agent 的 context window，迫使它花费成本去忽略这些内容。Markdown for Agents 从服务端解决了这个问题。

在客户端，我们则从一开始就把 Agent 当作一等公民来设计浏览器。Kitesurf 是我们的新浏览器，它足够轻量，可以在 Workers 上运行；每个请求都会启动一个新实例，使用后立即销毁。它能够提供 Agent 所需的内容和功能，同时摆脱传统浏览器中面向人类的功能所带来的臃肿负担。

“可发现”是 Agentic Internet 上每一次经济活动的起点。Agent 在读取资源、调用工具或为交易付款之前，首先必须知道该资源存在。搜索只是其中一半：Agent 需要通过专门为它们构建的界面找到所需内容，而不是使用为输入缓慢、习惯快速浏览的人类设计的关键词搜索框。AI Search 现已推出，任何公开网站都可以借此变得可供 Agent 搜索。

能否被发现则是另一部分。内容创作者和 API 所有者需要知道自己对 Agent 而言有多大的可见度。Agent Engine Optimization（AEO）能够衡量品牌在重要模型和 Agent 中的可见度。如果你的品牌无法被客户使用的 Agent 明确发现，那么对这些客户来说，你实际上就处于离线状态。

“可调用”意味着 Agent 开始真正执行任务：预订餐桌、续订订阅、获取报告。在面向人类的 Web 上，这些操作看起来各不相同，因为它们都是围绕人类点击用户界面构建的。一个试图向待办事项列表添加条目的 Agent，必须解析 HTML、猜测哪个按钮是“Add”、模拟一次点击，然后祈祷 DOM 没有在它上次查看后发生变化。

WebMCP 允许网站通过浏览器直接向 Agent 暴露自己的操作：

document.modelContext.registerTool({
  name: "add-todo",
  description: "Add a new item to the user's active todo list",
  inputSchema: {
    type: "object",
    properties: {
      text: { type: "string", description: "The todo item text" }
    },
    required: ["text"]
  },
  async execute({ text }) {
    await addTodoItemToCollection(text);
    return { content: [{ type: "text", text: `Added: "${text}"` }] };
  }
});

工具的“契约”因此变得明确。不必解析 HTML，也不必猜测表单字段。由于这些工具在页面内部运行，它们可以复用用户现有的 session 和状态。Code Mode 又向前推进了一步。Agent 以代码进行思考，而通过编写代码调用工具，比使用自然语言更快、更准确。由于 Agent 调用的是 endpoint，而不是抓取网页，内容所有者也能获得一个清晰信号，知道哪些内容真正得到了使用。

“可支付”是我们认为 Agentic Internet 将要前往的方向。每一笔经济交易最终都需要一种支付方式。基于广告的模式正在失效。当用户是一个程序时，基于 seat 的模式也行不通。我们所有人所依赖的发布者，无法依靠从未发生的 pageview，以及根本不会渲染广告的浏览器来维持运营。

一个始终无法通过广告盈利的食谱网站，可以对每次抓取收取不到一美分的费用，并在 Agentic Internet 的规模下实现盈利。一家地方报纸可以在文章被读取时直接授权使用，无须签订授权协议，也无须用户登录。在另一端，Agent 会带着一个 wallet，以及人类只需设置一次的预算前来访问。

每一次付费交互都会留下收据。发布者可以证明哪个 Agent 抓取了哪个页面，Agent 也可以证明自己为使用的内容付过费。Wallet 让 Agent 可以轻松为内容和 API 付款。Monetization Gateway 则让域名所有者只需点击几下，就能接收来自 Agent 的付款。

Cloudflare 有意处在这一切的中间位置。我们早已位于数十亿人类用户与其访问的网站之间，为双方提供保护、提升访问速度并维持网站在线。Agent 改变了流量，却没有改变这项工作的基本形态——我们仍然是一个中立、高性能的基础层，发布者、商家、Agent 构建者和最终用户都可以相信我们站在他们一边，而不是与他们竞争。

我们希望为域名所有者提供工具，让他们能够支持自己愿意支持的 AI Agent，同时阻止不愿支持的 Agent。一款开发者工具很可能希望为 Agent 做好准备，从而鼓励 AI Agent 发现、推荐并为它付费。发布者可能希望阻止掠夺式 AI Agent（只消耗资源而不给予任何回报），同时允许那些会取得内容授权或提供补偿的 AI Agent 访问。非营利数据提供商可能希望阻止超过 rate limit 的 bot 或人类用户，但也允许他们付费解除限制，并用这些资金覆盖额外的资源消耗。

Bot 已死，Bot 万岁

bot 与人类之间的区别已经不再那么简单。不能再粗暴地认为 bot 都是坏的、人类都是好的，或者认为 bot 只会浪费本应由人类使用的资源。这是一种旧有思维，在 Agent 的世界里已经过时。

我们把 Agent 看作一种新的参与者。它的行为可能是受欢迎的，例如以节省资源的方式读取内容、按照域名所有者指定的方式与网站交互，以及为使用的内容付费。它的行为也可能是不受欢迎的，例如在不提供补偿的情况下抓取数百万个页面、试图绕过封禁，或无视 robots.txt。我们相信，如果为人类和 bot 提供正确的工具，许多不受欢迎的行为将会减少，甚至转化为受欢迎的行为。

弥合收入缺口

Cloudflare 多年来一直致力于检测 bot，让域名所有者能够控制 bot 是否可以访问自己的网站。但我们一直缺少另一半：Agent 获准进入网站之后，应当如何与网站交互。这套 Agentic 工具正是为此而生：让 Web 变得可读、可发现、可调用、可支付。这四项基础能力全部建立在开放标准之上，因此没有任何一家公司能够独占底层基础设施。

开放的 Agentic Internet 需要供需双方都保持多样性。不仅要有多样化的发布者和内容创作者，也要有多样化的 Agent。如果需求侧趋于集中，那么无论供给侧多么开放都无济于事，互联网仍然会成为一座 walled garden。

我们正在构建这一开放替代方案。你可以通过我们的新 dashboard，让自己的网站为 Agent 做好准备，与我们一起参与建设；也可以注册接收 Answer Engine Optimization 产品的最新消息。如果你运营网站或 Agent，可以通过我们的 AI Playground 体验互联网的所有这些新技术。