基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-16 22:00

小团队自托管大模型,先算任务账

dev.to · AI#模型部署#成本优化#私有化
Editor brief · 编辑速览

作者结合自用 8GB 显卡后转向托管 API 的经历,从数据保密、请求负载和任务判断难度三个维度讨论部署选择。持续高负载和简单处理任务更适合本地小模型,突发请求及复杂判断则需重新评估成本与效果。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

小团队要不要自托管 LLM,先看任务,再看显卡。作者在一张 8 GB GPU 上运行自己的系统数月后,把需要判断的工作迁到托管 API,只把嵌入计算留在本地。推动这次调整的,是准确率、延迟和实际账单。

这篇文章值得读的地方,是把选型拆成了数据边界、任务负载和判断难度。它也提醒我们:显卡能装下模型,只是起点;上下文、并发和散热都要算进去。不过,当前提供的原文只是第一部分,不能当成完整部署指南。

哪些任务值得留在自己的显卡上

自托管 LLM,指的是把开放权重模型运行在自己控制的硬件上,通过自己的网络接收请求。作者首先看重的是数据留在内部:合同、健康数据、受保密协议约束的客户文档,都可能让本地部署成为优先选择,成本反而排在后面。

第二个问题是工作量是否稳定。GPU 闲置时也占着采购投入,持续、大量的任务更容易用足硬件。每天只有几百次请求、而且集中在少数时段出现,未必适合买卡。

第三个问题是任务需要多少判断。作者认为,小模型适合嵌入计算(embeddings)、打标签和短摘要;从混乱文档里找对数字、判断哪些信息重要,则更容易出错。这是作者的经验判断,文中没有为每类任务分别给出测试。

自托管是否划算,应该按具体任务计算。

同一个系统里,完全可以让不同工作走不同路径。作者最后留下嵌入计算,迁走判断任务,就是这个思路。

作者为什么把判断工作迁到托管 API

作者用自己的 AEGIS 系统,回放了 36 封有已知答案的真实财务邮件。结果如下:

指标 托管模型 本地 4B 模型
正确提取数量 32 / 36 13 / 36
平均每次调用耗时 约 2 秒 约 23 秒

与此同时,作者整个智能体集群的托管账单约为每天 5 美分。这个数字对应整个集群,不能理解成上述 36 封邮件测试的费用。

对作者来说,继续让本地模型承担判断任务,既慢,又容易提取错误,托管调用的账单却很低。因此,他把这部分迁到了托管 API,保留本地嵌入计算。

但这组数据能证明的范围有限。原文没有交代托管模型名称、本地 4B 模型的具体版本、提示词或量化配置,也没有给出嵌入计算的对照结果。它足以解释作者自己的迁移决定,不能据此断言所有本地模型都不适合信息提取。

显存预算为什么不能只看模型大小

模型权重和上下文都要占用显存。装不下时,服务会把部分计算放到 CPU 上,速度可能明显下降。量化(quantisation)能用更少的位数保存权重,但上下文和并发带来的额外占用仍然存在。

作者提到,他在 2026 年 10 月 1 日查阅了 Ollama 的 Llama 3.1 标签页。不过,当前提供的原文没有包含对应的模型大小表,不能补出一份不存在的清单。

他的硬件建议是:

  • 8 GB 显卡适合嵌入计算,以及约 8B 及以下、采用 4-bit 量化和短上下文的小模型。
  • 24 GB 显卡可考虑 8B 级模型配长上下文,或稍大的 4-bit 模型。
  • 70B 级模型仅 4-bit 权重就约需 43 GB,还没计算上下文,通常要两张大显存卡或一张工作站级显卡。

这些是选型参考,并非容量保证。按文中引用的 Ollama FAQ,内存需求会随并行请求数与上下文长度的乘积增长,四个人同时提交长提示词,和一个人短问短答差别很大。

原文列出的 Ollama 默认上下文规则为:显存低于 24 GiB 时为 4k tokens,24–48 GiB 时为 32k,48 GiB 及以上为 256k。原文在 48 GiB 的区间表述上有重叠,也没有注明 Ollama 版本,实际部署仍需核对配置。

加载模型后,运行 ollama ps,查看 PROCESSOR 列是否为 100% GPU。这一步能帮助确认计算是否全部留在 GPU 上。

散热同样要进入运维流程。作者在温度超过 95°C 时告警,先把 Ollama 服务缩容到零,等显卡降到 70°C 以下再启动。这是他的设备运行规则,不宜直接套成所有显卡的通用阈值。

我的判断

我认同作者按任务拆分部署的做法。相比把所有请求都塞给本地模型,或全部交给托管 API,混合方案允许团队分别考虑数据边界、质量、延迟和费用。

但「小模型适合嵌入和短摘要」仍需要业务样本验证。文章也没有给出包含购卡、电费、维护投入的完整成本对照,所以关于何时回本,更多是经验之谈。

数据留在内部的需求很有分量,但模型放在本机,只能说明推理可以在本地完成。整个应用的数据流是否都留在内部,还要检查调用链;原文没有展开这部分。

能拿来做什么

  • 给现有 AI 工作流按任务分类,分别记录数据能否外发、是否需要复杂判断、请求是否持续,再决定哪些步骤值得自托管。
  • 为邮件或文档提取准备一组有标准答案的真实样本,同时比较正确数量、平均耗时和实际账单,不要只看模型能否成功返回文本。
  • 如果通过 Node 服务接入 Ollama,要按预期上下文长度和并发量评估显存,并用 ollama ps 检查 PROCESSOR 是否显示 100% GPU。
  • 准备长期运行本地模型时,把温度监控、暂停服务和恢复条件一起写进运维流程,阈值依据自己的硬件确定。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
本地 AI 知识库难在模型之外
下一篇
接企业 Agent 项目前,先定验收标准

资讯速览

dev.to · AI · 2026-11-16 22:00

AI 评分 8.0 / 10

相关标签

#模型部署#成本优化#私有化

继续阅读

  • 本地跑模型,内存与上下文如何取舍
  • 本地 AI 知识库难在模型之外
  • 接企业 Agent 项目前,先定验收标准
  • 按问题类型选择检索、图谱或微调
  • 从检索到评估,理解 RAG 应用链路