大模型跨 GPU 适配如何做到可复验

国产 GPU 的大模型推理适配，算子跑通只是起点。真正难验收的是：性能提升相对谁、测试条件是否一致、精度有没有退步，以及另一组人能否复现结论。

不周山这份方法说明给出的答案是：先冻结基线，再用交付工件和测试台账串起证据链。原文没有性能数字，也没有展示具体实验结果。它值得读的地方，是帮助程序员识别一份推理适配报告到底证明了什么。

验收先写清分母，再谈提升

作者把适配工作分成四个环节，每个环节都要留下可检查的产物：

1. 环境勘查与基线冻结：记录驱动、推理引擎、模型版本，以及厂商交付时的默认配置，即 as-delivered，形成基线冻结记录表。
2. 量化校准与精度回归：提交量化方案与精度报告，精度不达标就回滚。
3. 内核优化与调度调优：提交逐项收益拆解表，说明端到端收益来自哪些改动。
4. 压测验证与固化交付：提交实测报告与部署包，写明测试条件、重复轮次和门控结论，也就是是否通过验收。

再加上单变量变更记录与 run_id 台账，才能把一次结果追溯到具体配置和改动。单变量的作用很直接：尽量一次只改一个因素，减少「速度变快了，却不知道是哪项改动起效」的情况。

验收报告需要证明结果如何产生，而不只是展示一个提升倍数。

官方基线缺失时，作者要求标注「待补测」，不能声称优于官方配置。厂商公开数据可以并列展示，但不能直接拿来当分母，因为它未必对应本机环境和相同测试条件。

吞吐和延迟，为什么不能混着算

原文要求把服务端稳态与客户端墙钟分开记录。

服务端稳态反映服务侧处理速率；客户端墙钟是客户端实际经历的时间，包含排队、网络和前后处理。原文规定，冻结基线统一采用客户端墙钟。对调用推理接口的应用来说，这更接近用户真正等待了多久。

多卡场景还要区分纯并行增益、并行效率和并发吞吐，不能默认卡数翻倍，性能就等比例增长。并发吞吐必须根据实测墙钟计算，不能靠除以卡数推算。

这里有一个需要补严谨的地方：原文写「实测值除以卡数给出并行效率」，但没有明确「实测值」的定义。如果它指相对单卡的加速比，这个表述可以成立；如果指原始吞吐，除以卡数得到的只是平均每卡吞吐。正式验收单应补上公式和单卡参照。

跨任务比较也要守住边界。文字推理看 tok/s 与首字延迟；视频生成看单条端到端耗时与采样步数。超分或精炼得到的高清结果，与原生直接生成属于不同产出路径，只能并列说明交付档位，不能互相替代后计算收益。

支持清单不等于已经具备交付条件

作者列出的 NVIDIA 范围包括 H100 / H200 / B200 / B300 / L40S / RTX 6000 Ada / L4，并声明覆盖 Hopper / Ada / Blackwell 全系。国产与信创清单包括摩尔线程 MTT S5000、壁仞、昇腾 CANN、寒武纪 MLU、海光 DTK、燧原、天智芯；作者还称已打通摩尔线程、壁仞等国产 GPU 的 PTQ 通路与 kernel 移植。

这些是原文的覆盖声明。文章没有逐个平台提供端到端实测证据，不能据此推导每个组合都已达到相同的交付成熟度。

作者自己也划了边界：未经端到端一手实测的平台，只写依赖与适配现状，不写成可交付配置；不承诺倍数，效果以 PoC 验收单为准。

开源归属同样属于验收内容。SLA 一类公开方法，以及 TAE 系列解码器、TeaCache、Ulysses 等组件，应保留原名与原始出处。作者把自身工作的边界限定为本机实现、调参、挂载、验收，不把开源实现重新包装成自有内核。

现场纪律则包括不碰生产系统、不索要客户业务数据，以及不在验证前给性能承诺。

我的判断

我赞同它把基线、精度和复现条件排在性能结论前面。相比只交一张吞吐对比图，这套要求更方便定位问题，也更适合拿来约束供应商交付。

但它仍是一份方法主张。原文没有对照数据，无法证明采用这套流程能提高多少性能，或减少多少返工；也没有给出精度阈值、压测持续时间、重复轮次要求和完整验收模板。团队可以借用框架，具体通过条件仍需双方提前约定。

客户端墙钟适合衡量端到端体验，但排队和网络也会影响归因。实际报告最好同时保留服务端指标，用来判断瓶颈位置。

统一口径能提高结果的可比性，不能自动证明某个平台更快。

能拿来做什么

• 在 Node 推理网关或 AI 应用联调中，分别记录客户端总耗时、首字延迟和服务端处理指标，并用 run_id 关联配置，避免把网络波动算成模型性能变化。
• 做量化或切换推理引擎前，先冻结模型、驱动、引擎版本与默认配置，并约定精度通过条件，让回滚有明确依据。
• 采购国产 GPU 适配服务时，把基线表、量化与精度报告、收益拆解表、实测报告与部署包写进交付要求；缺少官方对照的项目明确列为待补测。
• 审核多卡或视频生成报告时，要求说明并行效率公式、实测墙钟、采样步数和产出路径，避免拿不同条件下的数字直接计算倍数。