端侧视觉模型部署卡在厂商量化资产
作者将 InternVL3.5-2B 拆为 9 个计算图部署到高通 QCS6490,全部编译成功,但仅 6 个完成真机性能测试。文章聚焦厂商预量化资产中的 FP32 张量问题,并列出文本骨干部分图的实测耗时。
AI 深度解读
InternVL3.5-2B 在 Qualcomm QCS6490 上跑得多快?作者目前给出的答案是:还不能报完整成绩。9 张计算图全部编译成功,但只有 6 张在真机上完成性能分析,剩下的卡在厂商提供的预量化资产里。
这次记录值得看,不只是因为它定位到了具体张量,还因为它展示了一条可靠的排障路径:分清编译成功和设备可运行,用文件校验验证补丁,并在关键路径缺失时把总成绩留为 UNKNOWN。
9 张图跑通 6 张,为什么不能算总速度
作者此前已在 QCS6490,也就是 Dragonwing RB3 Gen 2 平台上测过两个语言模型:Qwen3-0.6B 的 prefill 为 1,555 tok/s,Llama 3.2 1B 为 1,024 tok/s。下一步选择的是 Apache-2.0 许可的 InternVL3.5-2B,它由 InternViT 视觉编码器和 Qwen3 风格的文本骨干组成。
模型被拆成 9 张计算图:
- 视觉编码器占 1 张图,把 448×448 图像转换成 256 个视觉 token。
- 文本骨干拆成 4 部分,每部分各有一张处理 128-token 提示的图,以及一张处理 1-token 解码的图。
配置为 context 512、w4a16,即权重 4 位、激活 16 位。作者沿用手动 AI Hub 导出链,在真实设备上逐图做性能分析。
最终只有文本第 2–4 部分的 6 张图跑通:每 128 个提示 token 合计耗时 174,113 µs,每个解码 token 合计耗时 62,815 µs。
缺失的第 1 部分位于每次前向计算的必经路径上,因此这些耗时不能代表完整模型。
作者把总成绩记为 UNKNOWN。这一点比一个漂亮的 tok/s 更有价值:部分组件的性能,不能回答整条推理链到底有多快。
厂商给的量化资产,为什么还会被设备拒绝
文本图在链接时,设备直接报出了问题张量:
Tensor '/model/model/layers.2/mlp/down_proj/Conv_bias' has a floating-point
type which is not supported by the targeted device. Please quantize the
model including its I/O and try again.
关键是第一行的完整路径:它把问题定位到第 2 层 down_proj 的 Conv_bias。设备拒绝的是一个不受目标硬件支持的浮点张量,并要求连同输入输出一起量化。
文本第 1 部分和视觉编码器在性能分析时,则卡在 QnnModel_composeGraphsFromDlc,返回 MODEL_GRAPH_ERROR。第 1 部分尝试了五次以上,视觉编码器尝试了三次,错误一致。作者还把第 1 部分的编译选项从 -O0 改成 -O1,结果没有变化。
作者据此将阻塞归因于厂商发布的 fp16mix AOT 资产:第 1 部分至少有一个 Conv bias 没有量化,而第 2–4 部分的对应张量能够正常组合并运行。
不过,证据要分层看。标题称其为隐藏的 FP32 张量,但展示的日志只写了不支持的浮点类型,没有单独展示 dtype 检查结果。视觉编码器存在同类问题也是作者的判断,文中没有给出它对应的具体张量路径。
至于官方 Genie 流程为何可能绕开问题,作者推测它在本地处理了这些张量,手动链路跳过了这一步。这还不是经过对照验证的结论。
三个环境问题,怎样避免修出新的变量
第一处是依赖隔离。模板固定使用 transformers 5.7.0,而此前导出 Qwen3 和 Llama 的 transformers 4.45 环境,连这个模型的模板都无法导入。作者因此为系列中的每个模型分别维护固定版本环境。
第二处是 ARM64 依赖缺失。构建机上执行 pip install aimet-onnx==2.37.0 找不到匹配发行包,因为 aimet-onnx 没有 aarch64 wheel。视觉编码器类又会在收集阶段立即创建 AIMET QuantSim 会话,导致拆分尚未开始就触发 NameError。
作者读代码后发现,这个会话只供 forward() 本地评估使用;Hub 部署路径搬运的是 AOT checkpoint 中预先构建的 ONNX 包。因此,他把该初始化步骤改为空操作,再比较输出的视觉编码器 ONNX 和 encodings 文件:两者的 sha256 都与厂商原件一致。
这个校验证明的是补丁没有改变交付文件,不能证明资产本身能在设备上运行。
第三处是大文件下载。9.39 GB 的资产在约 70%、6,611,808,256 字节处停住,进程仍存活,却没有超时退出。作者终止下载,将部分文件移到缓存位置,再用 curl -C - 续传。S3 支持 Range 请求,最终文件大小与 Content-Length 完全一致,压缩包检查也通过了。
我的判断
我认可这篇记录最重要的取舍:保留失败结果,不把局部成绩包装成整机性能。9 张图编译通过,只能说明编译阶段完成;后续的图组合、设备执行仍可能失败。
但它提供的性能数据有明确边界:指标是 RB3 Gen 2 上逐图 AI Hub profile 的 estimated_inference_time,不是 Genie 端到端运行结果,不能直接解释为应用的完整响应速度。作者也没有提供手动链路与官方 Genie 流程的成功率或性能对照,不能据此认定哪条路线更优。
独立环境、可续传下载、校验补丁产物,都是合理的工程做法。不过这些仍是本次排障经验,原文没有量化它们能为一般团队节省多少时间。还有一点需要保留:作者计划向厂商提交问题,文中并没有厂商确认或修复结果。
能拿来做什么
- 接入端侧多模态模型时,把编译、图组合、真机执行和完整推理分别记录;关键部分未运行,就把总性能标成未知。
- 为不同模型固定各自的 Python 依赖环境,尤其先检查模板要求的 transformers 版本,以及构建机架构是否有匹配的 wheel。
- 必须绕过初始化逻辑时,先确认部署路径是否依赖它,再比较 ONNX、encodings 等交付文件的哈希,给补丁留下可检查的依据。
- 下载大型模型资产时先使用支持续传的工具,并核对文件大小和压缩包完整性,减少把下载故障误判为模型故障的机会。