Replit 将其"智能模型路由"系统升级为默认模式,系统自动为不同编码任务选择最佳模型,提升效率与成本效益。
AI 编程公司 Replit 正在全力押注模型路由趋势,将其"智能模型路由"系统设为所有账户的默认选项。
该系统能够自动选择底层模型来处理任务,并根据任务演进动态调整,Replit 在路由决策中综合权衡质量、速度和成本。
该公司表示,这项名为 Auto mode 的功能将成为所有用户的默认选项,不过 Core 和 Pro 订阅用户仍可以覆盖它、在需要更多控制时手动选择模型。
这一公告紧随模型路由领域的密集动作而来。8 月早些时候,Stripe 同意以约 80 亿美元收购模型网关平台 OpenRouter。就在同一天,Ramp 推出了 Router.com,该服务将请求路由到满足指定性能标准的最低成本模型。
在此之前,7 月,由 SpaceX 所有的 Cursor 推出了自己的路由器,可自动为编程请求选择模型,并声称能以显著更低的成本提供相当水平的性能。与此同时,据报道 Meta 正在开发名为"Switchboard"的内部路由器,该路由器按难度对编程任务进行评分,将更简单的任务分配给更便宜的模型。
"在同一模型家族中,每 token 的费率可能相差数个数量级。与此同时,更便宜、更小的模型的智能水平现在与更大的前沿模型已非常接近,这为我们提供了大量成本优化的空间。"
Replit 总裁兼 AI 负责人 Michele Catasta 表示,路由之所以受到更广泛的推动,原因很简单——模型成本与开发者实际完成任务所需能力之间的差距越来越大。
"在同一模型家族中,每 token 的费率可能相差数个数量级,"Catasta 告诉 The New Stack。"与此同时,更便宜、更小的模型的智能水平现在与更大的前沿模型已非常接近,这为我们提供了大量成本优化的空间。"
Replit 本身一段时间以来一直在朝这个方向推进。Catasta 表示,公司最近几个月一直在试验 Auto mode、子代理路由和多次迭代的早期版本。
"像任何关键发布一样,我们在正式发布公开版本之前,很长一段时间内在 beta 环境中彻底测试了智能模型路由,"他说。"最重要的学习是从第一性原理理解每个实验的失败模式,这样我们才能在最终上线的系统上不断进行爬山优化。"
这项工作的基础在上周浮现,当时 Replit 推出了 Free Mode,这是一种更低成本的 Agent 模式,不消耗使用额度,并使用 Auto 代表用户选择模型,但受使用限制。
现在,相同的 Auto 路由方式正在 Replit 更广泛地推广。该公司表示,智能模型路由将成为所有账户的默认选项,所有用户从 Free Mode 开始,Replit 决定哪种模型最适合该任务。
值得注意的是,Free Mode 并不是"免费"意义上的无限制使用。它上线时,Replit 向 Core 和 Pro 订阅用户提供,但不消耗他们的使用额度,但施加了每五小时重置的限制,Pro 用户的配额更高。在 Free Mode 中,用户不能手动选择模型。
不过,Core 和 Pro 订阅用户可以切换到 Replit 的 Power 或 Max 模式,在那里可以关闭 Auto 并自己选择模型。当 Replit 判断任务需要更多能力时,也可能会建议将任务转移到这些更高功率模式,但这些模式会产生使用费用。

对于企业客户,管理员可以将 Auto 限制为每个工作区批准的模型集,允许 Replit 在公司策略范围内继续自动路由任务。
甚至在 SpaceX 同意以 600 亿美元收购 Cursor 之前,这家 AI 编程初创公司就一直在投资自己的编程模型,包括 Composer 系列。最近,在 SpaceX 的领导下,Cursor 一直在开发更前沿的模型。
相比之下,Replit 并没有将底层模型层的所有权作为其核心卖点。相反,它押注于控制 Agent 及其周围的系统,这使 Replit 有足够的洞察力来实时做出更好的模型选择决策。
"Replit 从一开始就拥有 Agent 框架和围绕模型的基础设施,这使我们能够训练出复杂的模型路由器。"
"Replit 从一开始就拥有 Agent 框架和围绕模型的基础设施,这使我们能够训练出复杂的模型路由器,"Catasta 说。"只有这样,我们才能始终以最具竞争力的价格向用户提供有用的智能。"
当 Agent 任务展开时,这一点变得尤为重要,Replit 指出,其系统可以在任务演进过程中更改所使用的模型,在不同阶段寻求能力和成本之间的更好权衡。但对 Catasta 来说,这种动态路由仍然只是关于 Agent 如何使用模型的更广泛研究问题的一个组成部分。
"模型路由仍处于早期开发阶段,我们预计进一步的研究将在客户最需要智能的时候推动最佳智能服务,"Catasta 解释道。"路由只是谜题的一个组成部分,与我们框架研究的许多其他方面紧密集成。"
"没有任何第三方路由公司能够为我们的自有 Agent 再现相同的结果。"
Replit 还认为,看到人们如何使用其自己的 Agent,使其拥有独立路由提供商难以再现的优势。Catasta 表示,路由器必须推断请求的性质、难度、范围和意图,而 Replit 能够针对专有的使用数据进行训练,并在其整个用户群中观察这些信号。
"没有任何第三方路由公司能够为我们的自有 Agent 再现相同的结果,"他说。