离线 AI 容器实战:常驻模型与超时兜底
作者在 ROCm 上交付 OCR、RAG 和网页代理容器,模型随镜像部署,无云端 API,单题限时三十秒。经验包括常驻服务复用模型加载、通过本地套接字处理请求,以及预写合法空 JSON 应对崩溃或超时。
AI 深度解读
在 AMD GPU 上跑 OCR、带引用的问答和网页 Agent,模型只有 4B 到 8B,每道题还限时 30 秒,怎么保证交付?作者做了三个 Docker 容器,得到的结论是:成绩很大程度取决于模型周围的工程设计。
这篇经验最值得看的,是如何减少重复加载、让失败仍有合法输出,以及把模型答案限制在可核验的证据里。不过,它来自特定竞赛环境,效果描述也缺少量化对照,不能直接当成通用方案。
30 秒预算,先别浪费在重复加载上
AMD AI League 要求提交能在 AMD GPU 和 ROCm 上运行的 Docker 镜像,模型必须装在镜像里,没有 API keys,也不能调用云端 LLM。作者分别做了车牌与路牌 OCR、能引用具体文件的 RAG,以及返回一个精确数值和来源页面的网页 Agent。
视觉语言模型加载一次就要数十秒,几乎吃掉整道题的预算。作者因此把模型放进常驻服务,启动时加载到 GPU,再通过本地 Unix socket 接收请求。每道题仍启动一个新的轻量进程,但只负责与服务通信。
每题独立执行,不代表每题都要重新加载模型。
这套设计把昂贵的初始化移出单题处理路径。原文没有交代服务冷启动是否计入评测时间,也没有讨论并发请求如何调度,迁移到线上服务时需要补上这两点。
另一个处理顺序也很实用:每次运行先写出合法的空答案 JSON,真正完成后再覆盖。这样,即使崩溃、超时或显存不足,仍然留下格式正确的「不知道」,而不是一个无法解析的文件。内部截止时间还要早于外部的 30 秒限制,给收尾留出空间。
模型只负责从证据里选答案
在 RAG 和网页 Agent 中,作者给模型加了一条硬约束:输出的答案必须在所引用的段落中逐字出现,否则返回空答案。
这是一种抽取式问答。模型可以选择证据里的内容,却不能自行补一个看起来合理的答案。作者称,这个检查在其测试中消除了几乎所有幻觉,而且竞赛里空答案的得分高于错误答案。
但这只能检查「答案有没有出现在引用里」。它无法单独证明引用页面可靠,也无法保证模型选中的日期、电话或版本确实对应问题里的对象。
为了让模型更容易选对,作者把大量工作放在检索阶段:使用 BM25,结合词干归一化、两种语言的停用词,以及目标数值类型加分。例如,问题要找电话号码,就提高含电话号码段落的排序。原文没有说明那两种语言是什么。
检索完成后,模型只读几百个 token。输入更短,推理更快,也减少了无关内容干扰模型的机会。
时间快用完时,还有规则提取器接手:用正则表达式识别电话、邮箱、价格、日期和版本,但只有问题中的词就在数值旁边时才接受。这能减少因模型超时而交不出答案的情况,规则本身是否匹配成功,仍取决于原文内容。
ROCm 环境里,依赖安装也会影响成败
作者建议从官方 rocm/pytorch 镜像起步,并在安装 transformers 时使用 --no-deps。原因很具体:让 pip 自动处理依赖,可能把 ROCm 版 PyTorch 换成 CUDA 版。
模型权重必须放进镜像,而竞赛限制镜像大小,所以要尽早检查最终体积。原文没有给出具体大小上限。
推理配置上,作者使用 bf16 和贪心解码(greedy decoding),得到稳定、可重复的答案。这是作者的实测经验,但没有提供精度、延迟或其他解码配置的对照数据。OCR 和 RAG 容器已开源,原文没有说网页 Agent 也已开源。
我的判断
我认同这套设计对「短时限、答案可抽取、错误成本高」任务的取舍:先缩小候选范围,再让模型选择,最后用程序检查。相比把整页内容交给模型自由回答,它的输出更容易验证,资源消耗也更可控。
局限同样明确。逐字匹配适合查电话、版本和日期,也能用于部分文档问答;需要综合多段材料、换算或解释原理时,正确答案未必能在某一段里原样找到。此时强制逐字匹配,会拒绝一部分正确回答。
「工程决定成绩」和「几乎消除幻觉」都没有量化对照,应该视为作者在这些任务上的经验。原文也注明写作面向 AMD AI League,并获得 AMD 和 lablab.ai 的 GPU 额度支持。它适合作为实现思路,不能据此推断 ROCm 相比其他平台的性能优势。
能拿来做什么
- 如果你在 Node 服务后接本地模型,可以让模型进程常驻,通过本地通信复用;同时分别测量冷启动时间和单次请求时间,确认延迟究竟花在哪里。
- 如果你在做文档 RAG 或网页字段提取,可以先试 BM25 和字段类型加分,再让模型读取少量候选段落,并对抽取结果执行逐字校验。
- 如果任务有严格超时和固定输出格式,可以先写合法的空结果,再设置提前结束的内部时限;电话、日期、版本等明确字段,则用规则提取作为后备路径。