We Have AGI At Home

过去针对开源权重模型（open-weight models）的批评一直是：它们是更便宜、更弱的选择，如果想要真正的质量，就得付钱给前沿提供商。截至 2026 年年中，这一论点已基本崩塌——在 Artificial Analysis Intelligence Index 上（覆盖 270 个模型），最好的开源权重模型与最好的闭源模型差距约为 3.4 分。Epoch AI 指出，差距大约有四个月的滞后。

因此，我们正处于一个模型本身不再是瓶颈的时代。在这篇文章中，我们将探讨一个观点：我们实际上不需要更好的模型，而是要聚焦于中小型组织运行现有模型所需的整套配置。而所谓"运行"，不是指某个开发者跑跑最新的 TMBBs（Trust Me Bro Benchmarks）——而是要构建一个组织可以用来完成实际工作的工具。我们在之前一篇关于裸机 AI（baremetal AI）的文章中已经覆盖了部署层面的内容。

开源模型的现状

这个领域几乎每隔一周就会发生变化，但在撰写本文时（2026 年 9 月中旬），大致情况如下：

第一梯队中，一些开源模型已经可以作为前沿模型的替代品，在真正的 agent 管道中站稳脚跟。DeepSeek 的 V4 系列在 SWE-bench Verified 上达到了 80 出头的分数，使用 MIT 许可证，而 GLM-5.2、Kimi K3 和 Qwen 最大规模的模型在编程和 agent 能力基准上交替领先。

中间层是 240 亿到 320 亿参数规模的模型，如 Qwen 的 27B、Gemma 4 31B 和 Mistral-Small，它们在推理和编程方面的表现足以应对大多数生产工作。

小模型端，gpt-oss-20b 和 Phi-4 这类模型可以在极少的硬件资源下完成起草、提取和分类任务。

大多数前沿级开源模型采用混合专家（mixture-of-experts）设计，拥有百万 token 级别的上下文窗口，因此一个拥有数千亿总参数的模型在每个 token 上只激活 100 亿到 200 亿参数。重点在于：对那些做实际工作的模型来说，"开源"不再等于"妥协"。决定性因素变成了在哪里以及如何运行它。

在可获取的硬件上运行

一个常见的假设是：要运行一个 capable 的模型，就意味着要购买或租用那些实验室使用的同款 GPU。但随着模型越来越强大、与通用硬件的兼容性越来越好，花 25,000 到 33,000 美元买一块 H100，或者花 350,000 美元买一个八卡集群，真的还有必要吗？那是超大规模云商和 AI 实验室的地盘，而且硬件价格只会越来越贵，这一点众所周知。

中小企业在不经过采购委员会审批的情况下实际能买到的，是工作站级别的显卡：

显卡	VRAM	FP16 算力（TFLOPS）
RTX 6000	48 GB	~1,057
RTX 5000	32 GB	~819
RTX 4000	24 GB	~476
A4000	16 GB	~310

所以现在我们可以把已有的硬件和能跑的模型对应起来：

Serving 一个模型的瓶颈在于内存，而不是算力。你需要规划的 VRAM 包括：权重（参数数量 × 每个参数的字节数，由量化决定）+ 飞行中请求的键值缓存 + 几 GB 的运行时开销。只要规划得当，一块 24 到 48 GB 的显卡上跑一个 4 bit 量化的 270 亿到 400 亿参数模型，就能在推理和编程上与商业方案一较高下。这是真实的工作，而且硬件成本和一台高端笔记本电脑差不多，或者干脆是你已经有了的设备。

真正的价值在 harness 里

基础模型不需要再大幅提升、而大部分剩余收益都在围绕它们的 harness（支撑框架）上——随着 AI 领域走向成熟，这一观点已经获得了广泛关注。有证据支撑：纯参数Scaling正在出现边际效益递减——知识类任务在约 300 亿参数以上趋于平稳，推理任务在约 700 亿参数及以上趋于平稳，高质量训练数据也面临枯竭。

与此同时，harness 仍在持续产生回报。工具编排、持久化记忆、环境沙箱和自动化反馈回路，这些因素现在决定着一个 agent 是好用还是没用，许多领先的 agent 能达到前沿表现，靠的是 scaffolding（脚手架）而不是更大的底层模型。

无论如何，harness 不仅决定了模型对单个用户的有效性，也决定了它在组织层面的可用性——编排、自动扩展、检索管道、访问控制和审计，与 agent 能多么优雅或自主地写代码同等重要。

从单卡到平台

所以现在你有了能在实际可获取的硬件上运行的开源权重模型。但如何从一个谈论基准分数的独立开发者，搭建出一个整个组织都能用来做实际工作的平台？这样一个共享服务需要四样东西：

• 能随需求扩展的 GPU 容量
• 版本化管理且能在任意运行位置交付的模型权重
• 受访问控制且可审计的端点
• 足够高的利用率来证明硬件投入值得

最后一点决定了经济性。自托管只有在大约每天数千万 token 的高利用率规模下，才能在与前沿 API 的比拼中胜出。让昂贵的芯片保持饱和工作意味着自动扩展和跨团队共享同一个集群。

上述每一条需求在 AWS 工具链中都有现成的解决方案。唯一的麻烦是，用它就意味着要在 AWS 上运行。但你花了那么大力气才脱离云端提供的前沿模型、改用开源模型并购买自己的通用硬件来运行它们——结果发现你还是离不开云！？

好在，现在有一个新玩家可以帮助解决这个问题。

Spinifex：在你拥有的硬件上实现 AWS 工具链

Spinifex 在你自有的硬件上实现了上述 AWS 工具链，这样你原本会在云上搭建的平台就可以映射到自己的 GPU 上，而团队已经熟悉的工具链保持不变。EC2 负责配置和扩展 GPU 实例。EKS 调度 vLLM 或 SGLang Pod 并根据需求扩展副本数——这正是保持利用率和经济性处于正轨的关键。S3 在 Spinifex 纠删码驱动的 Predastore 支持下，成为版本化并分发权重的模型注册表。IAM 和 STS 控制各团队访问哪些端点，并保留审计追踪。ELBv2 在各副本间分配负载。

所以你现在可以用同一套 Terraform 和同一套 AWS CLI，只需将一个 provider 指向你自己的端点。我们在之前的裸机 AI 文章以及文档中的参考架构里，走通了一个具体构建：EKS 集群跑在 Supermicro X14 上、配有两块 RTX Pro 6000 GPU，全部通过 Terraform 接线。与高端集成机架不同，这里面没有任何东西需要特殊硬件；与超大规模集群不同，也不需要真正的集群。你从自有的通用服务器起步，然后扩展集群规模。

与前沿 API 相比，值得吗？

通常值得，但并非总是如此。趋势方向是明确的：据某些统计，目前超过一半的企业推理运行在本地或边缘，而 2023 年这一比例约为八分之一。一个代表性场景的盈亏平衡点大约在每天 3,000 万 token、持续四个月。

所以问题变成了：你的组织能获取多少通用算力、需要做什么类型的工作以及工作负载有多高。Spinifex 提供工具来帮助改善经济性——复刻你通常会在 AWS 上使用的那些能力。但对于情况合适的人来说，一个功能完整的开源权重模型，跑在可获取的本地硬件上，配合一个在个人和组织层面都高效的 harness，实际上已经触手可及。

实际应用场景

私有语料库检索。 将 SGLang 指向你的法律、财务或内部知识库，让前缀缓存吸收重复的系统提示。文档永远不会离开你的控制。

高吞吐量批量推理。 分类、提取和摘要管道让 GPU 持续高负载运转，而这正是自有硬件在成本上胜出的场景。

内部系统的 Agent。 随着开源模型在 SWE-bench 上突破 80 分出头，能够读取并操作私有代码库的 agent 已经可行——没有 token 账单，也没有数据出境审查。

无法离岸数据的微调。 在同一个集群上训练和服务，微调后的权重落在自托管 S3 上、与基础模型同处一地。

气隙与主权推理。 模型从不"打电话回家"，技术栈完全离线运行——这是国防、医疗和金融等行业运营商的刚需，他们根本无法使用公共 API。

我们的参考架构涵盖了在你自有硬件上部署 GPU 支撑的 EKS 集群和 AI 工作负载，包括气隙安装路径。源码在 GitHub 上，使用 Go 编写、AGPL-3.0 许可证。或者注册免费沙盒，在投入硬件之前先体验一下 AWS 兼容的 API 表面。