8.0
热点
AI SCORE
编程提效2026-10-08 16:53
Architect推出Liquid Inference：实时拍卖LLM推理
MarkTechPost#LLM推理#成本优化#开发者工具
Editor brief · 编辑速览
Architect Financial Technologies推出Liquid Inference，为每次LLM调用实时竞价的推理路由平台， providers竞争出价，买家按满足规则的最低价付费；开发者仅需切换base URL即可接入。
Architect Financial Technologies 推出了 Liquid Inference，这是一款 LLM 路由器，可针对每个请求实时竞拍。Liquid Inference 是 Architect 旗下的 LLM 推理市场，提供商在此为每个 prompt 出价竞标。买方支付满足其规则的最低报价。对开发者而言，消息很简单：更换一个 base URL，保留你的代码，让提供商在价格上竞争。
Liquid Inference 是交易所风格的 LLM 推理路由器。据 Architect 介绍，提供商发布报价以服务特定模型，每个请求都会在所有报价该模型的提供商之间进行拍卖，满足买方规则的最低报价者赢得请求。
该产品来自一家交易公司，而非 AI 实验室。Architect 运营着 AX 永续期货交易所。2026 年 5 月，它收购了一个美国指定合约市场（Designated Contract Market）以上市 GPU 计算期货，目前正在等待监管审批。团队利用其构建金融交易所的经验，为推理创造了双向价格发现机制。
流程分为 4 个步骤：
Request：客户端发送标准的 OpenAI 或 Anthropic API 调用。
Rules：买方的约束条件过滤出符合条件的报价。
Auction：报价该模型的提供商相互竞争，满足条件的最低报价者胜出。
Receipt：max price 在生成之前锁定，账单仅涵盖实际计量用量。
买方可以设置每任务成本上限、首个 token 到达时间限制和最低吞吐量。也可以要求特定区域、零数据保留以及提供商或模型白名单。Auto 模式可以为给定工作单元自动选择模型。Harrison 的 LinkedIn 帖子补充了路由规则预设和完整的多模态支持。
账户持有者可以查看实时订单簿、提供商和模型报价以及已结算交易。这种级别的市场数据在 LLM API 中并不常见。
与 agentic 编程工具的零改动兼容。帖子列出了 Claude Code、Codex、OpenCode、Cursor、Pi 和 Cline。
免费邮件注册。前 500 名用户获得 $20 的免费推理额度。
推荐计划：被推荐费用的 20% 作为免费推理额度，外加二级推荐 10%。
提供商通过 Liquid Inference 应用入驻。Harrison 表示，新提供商在"几分钟内而非数周"内完成验证。所有 prompt 均使用 OpenAI API 标准。REST 和 WebSocket API 用于注册模型和报价。
提供商可以根据自身成本更新报价，这让他们仅在想出售时才能出售闲置 GPU 容量。款项通过 Stripe 结算，每项任务都有逐项明细记录。
| 特性 | Liquid Inference | OpenRouter | Hugging Face |
|---|---|---|---|
| 推理提供商路由模型 | 按请求在报价提供商间拍卖 | 价格加权负载均衡，价格的平方倒数 | 默认最快提供商；可选 :cheapest 后缀 |
| 模型 / 提供商数量 | "数百"个模型；提供商未公开 | 500+ 模型，80+ 提供商 | 18 个已列出合作伙伴 |
| API 兼容性 | OpenAI 和 Anthropic 兼容 | OpenAI 兼容 | OpenAI 兼容，仅聊天 |
| 价格上限 | 首个 token 前锁定 max price | max_price 参数 |
未披露 |
| 数据控制 | ZDR、区域、白名单 | zdr、data_collection、only/ignore |
提供商偏好顺序 |
| 平台费 | 未披露 | 5.5% 信用卡费，$0.80 最低消费 | 无加价 |
| 免费额度 | 前 500 名用户 $20 | 未披露 | $0.10/月免费，$2.00 PRO |
| 公开市场数据 | 实时订单簿和已结算交易 | 未披露 | 未披露 |
Liquid Inference 在竞争的提供商之间对每个 LLM 请求进行拍卖。
max price 在首个 token 前锁定，每任务有独立收据。
兼容 OpenAI 和 Anthropic 客户端，包括 Claude Code 和 Cursor。
前 500 名用户获得 $20 免费；推荐可获得费用的 20%。
费用、提供商列表和延迟数据尚未公开。
查看 Technical details。所有荣誉归该项目研究者所有。另外，记得在 Twitter 上关注我们，不要忘记加入我们的 150k+ ML SubReddit 并订阅我们的 Newsletter。等等！你用 telegram 吗？现在你也可以加入我们了。
Michal Sutter 是数据科学专业人士，拥有帕多瓦大学数据科学硕士学位。凭借统计分析、机器学习和数据工程的坚实基础，Michal 擅长将复杂数据集转化为可操作的洞察。