Strata 借系统内存让消费级显卡跑大模型

Strata 的 README 把我会优先阅读的说明放进了警告框，而不是速度表：模型启动时，你的 PC 可能会变慢，甚至有一到三分钟无法响应，因为 Strata 会向 RAM 加载 35 到 55 GB 的数据，并锁定其中一部分供显卡使用。Strata 可以在受支持的 NVIDIA 和 AMD 游戏 PC 上运行拥有 1250 亿参数的 Qwen3.8-Flash-Next，要求至少配备 12 GB VRAM 和 32 GB 系统 RAM，而模型的大部分内容都存放在系统 RAM 中。

这个项目宣称支持在 Windows 和 Linux 上一键安装，社区还为 Apple Silicon、Intel Arc、AMD Strix Halo 和较旧的 GPU 提供了实验性运行方案。它在 localhost 上提供模型服务，带有兼容 OpenAI 和 Anthropic 的端点，并可选支持图像输入。README 表示，所有数据都不会离开你的 PC。

RAM 是模型大小的主要限制

“我该选哪个模型？”这张表按 RAM 容量划分，只有一个例外：对于配备 32 GB 系统 RAM 的机器，如果显卡拥有 24 GB VRAM，也能运行 Q2_0 和 IQ2_XS。项目要求至少 12 GB VRAM 和 32 GB RAM，表中给出的内存容量与量化版本对应关系如下：

• 32 GB：Coder 版本，这是一个移除了一半专家的编程模型。
• 48 GB：IQ2_XS，或者选择 Q2_0 以获得更快的速度。
• 64 GB：推荐 IQ2_XS，也能装下 IQ3_XXS 和 IQ3_S。
• 96 GB 或更多：IQ3_S，或者 Unsloth 的 UD-IQ4_XS，后者约为 4 bit 量化。

README 也列出了选择较小版本需要付出的代价。根据作者的测量，Coder 版本在 SWE-bench Verified 上的得分达到完整模型的 91%，但它在代码以外的任务上更弱，包括中文和其他 CJK 文本。对于这些任务，README 建议回到保留全部专家的版本。较大的 Unsloth 文件也能在 RAM 较少的机器上运行，但 Strata 回答时就需要从 SSD 读取部分内容，README 表示这会慢得多：在一台配备 64 GB RAM 的 PC 上，UD-Q4_K_XL 的速度为每秒 7 到 8.5 个 token。

速度数据及其测试条件

README 的速度表来自两台被描述为普通游戏 PC 的机器：一台配备 12 GB 显存的 RTX 5070、Ryzen 5 7600 和 64 GB RAM；另一台配备 16 GB 显存的 RX 9070 XT、Ryzen 9 3900X 和 47 GB RAM。在 NVIDIA 机器上，README 报告 Q2_0 的输出速度为每秒 94 个 token，IQ3_S 则为每秒 53 个 token；处理 32K token 输入时，prompt 读取速度为每秒 1,620 到 2,650 个 token。各行使用的引擎版本有所不同，完整表格见 docs/DETAILS.md。

对于 Agent 使用场景，README 还说明了并发和首条消息的耗时。默认情况下，Strata 一次只响应一个请求，其余请求进入队列；设置 "parallel": 2 后，可以同时处理两个请求，但在 12 GB 显存的显卡上，每个请求的回答速度都会变慢。另外，Strata 会完整读取聊天中的第一条消息，每 30,000 个 token 大约需要一分钟，而后续消息通常几秒钟就能开始响应。如果你的 Agent 一上来就塞入大量上下文，我预计第一条消息需要等上一阵。BENCH.bat 脚本（Linux 上为 ./bench.sh）会使用你自己的设置，测试聊天、4K 和 16K prompt，以及一次 Agent 风格的会话。

运行起来后，Strata 会在 http://127.0.0.1:8080 打开一个浏览器应用，其中包含 Chat、实时查看模型和硬件状态的 Monitor，以及 About 页面。接入其他工具时，可以添加一个 OpenAI 兼容的 provider，地址为 http://127.0.0.1:8080/v1，README 表示 API key 和模型名称都可以任意填写。Anthropic 风格的客户端使用 /v1/messages；对于 Claude Code，README 给出的设置是 ANTHROPIC_BASE_URL=http://127.0.0.1:8080；供 Codex CLI 使用的 Responses API 则位于 /v1/responses。

安装过程本身也可以交给 Agent：README 提供了一行 prompt，让你的编程助手按照 docs/AI_SETUP.md 操作。助手随后会检查显卡、RAM 和磁盘，并选择模型。项目还提供了一个 MCP server，让 AI 工具能够安装、启动和停止 Strata。

开放网络访问时设置密钥

如果要让手机或另一台 PC 访问服务，可以使用 START-HERE.bat --setup --host 0.0.0.0 --api-key <secret>，README 还补充强调：务必设置密钥。如果只需要在同一台机器上使用模型，我会保持 host 设置不变。

首次运行时，请预留大约 80 GB 的可用磁盘空间，最好使用 SSD，并准备下载约 70 GB 的数据，下载中断后可以续传。要对 README 提醒的缓慢启动有所准备，并在决定保留哪个版本之前先运行 benchmark。

GitHub：Niko1221/Strata

由 Agent Palisade 精选——面向中小企业的实用 AI。

如需进一步处理，你可以考虑屏蔽此人和／或举报滥用行为。