基础篇
进阶篇
高频篇
精选篇
手写篇
面经篇
AI 篇
原理篇
每日一题
小程序题库
  • 知识卡片碎片时间过考点
  • 场景篇按分类整理的大前端场景考点
  • 历年面经按年份追踪真实考点
  • 算法题库NEW在线编码即时判题
  • 专项自测100 题快速查漏
  • 前端基础
    • HTTP从报文一路讲到 HTTPS
    • 浏览器渲染、事件循环、进程
    • 计算机基础Linux、网络、操作系统
  • 进阶专项
    • 设计模式23 种模式怎么用
    • 前端系统进阶学习大型项目工程化
    • 前端综合文章长期沉淀的实践文
  • 工程与工具
    • Node学习指南从环境搭建到服务端
    • NPM工作流script、依赖与发布
    • Docker容器化部署上手
    • Canvas图形与动画实战
  • 路线与导图
    • 思维导图知识点全景图
    • 学习路线按图索骥不跑偏
  • 动态
    • 公众号动态公众号历史文章
    • 博客动态站长的技术博客
    • 开发者导航常用工具与文档站
    • AI 热点每日 AI 资讯与动向
AI 工作台
旧版
AIHT
内容
精选全部 AI 动态热点榜AI 日报收藏
分类
模型行业编程产品技术观点开源
更多
Agent 接入
返回首页开发者导航
AIHT
精选 / 资讯详情
8.0
热点
AI SCORE
技术实践2026-11-16 12:26

端侧视觉模型部署卡在厂商量化资产

dev.to · AI#端侧部署#量化#多模态
Editor brief · 编辑速览

作者将 InternVL3.5-2B 拆为 9 个计算图部署到高通 QCS6490,全部编译成功,但仅 6 个完成真机性能测试。文章聚焦厂商预量化资产中的 FP32 张量问题,并列出文本骨干部分图的实测耗时。

文章思维导图
Knowledge map
拖拽缩放
AI deep read

AI 深度解读

InternVL3.5-2B 在 Qualcomm QCS6490 上跑得多快?作者目前给出的答案是:还不能报完整成绩。9 张计算图全部编译成功,但只有 6 张在真机上完成性能分析,剩下的卡在厂商提供的预量化资产里。

这次记录值得看,不只是因为它定位到了具体张量,还因为它展示了一条可靠的排障路径:分清编译成功和设备可运行,用文件校验验证补丁,并在关键路径缺失时把总成绩留为 UNKNOWN。

9 张图跑通 6 张,为什么不能算总速度

作者此前已在 QCS6490,也就是 Dragonwing RB3 Gen 2 平台上测过两个语言模型:Qwen3-0.6B 的 prefill 为 1,555 tok/s,Llama 3.2 1B 为 1,024 tok/s。下一步选择的是 Apache-2.0 许可的 InternVL3.5-2B,它由 InternViT 视觉编码器和 Qwen3 风格的文本骨干组成。

模型被拆成 9 张计算图:

  • 视觉编码器占 1 张图,把 448×448 图像转换成 256 个视觉 token。
  • 文本骨干拆成 4 部分,每部分各有一张处理 128-token 提示的图,以及一张处理 1-token 解码的图。

配置为 context 512、w4a16,即权重 4 位、激活 16 位。作者沿用手动 AI Hub 导出链,在真实设备上逐图做性能分析。

最终只有文本第 2–4 部分的 6 张图跑通:每 128 个提示 token 合计耗时 174,113 µs,每个解码 token 合计耗时 62,815 µs。

缺失的第 1 部分位于每次前向计算的必经路径上,因此这些耗时不能代表完整模型。

作者把总成绩记为 UNKNOWN。这一点比一个漂亮的 tok/s 更有价值:部分组件的性能,不能回答整条推理链到底有多快。

厂商给的量化资产,为什么还会被设备拒绝

文本图在链接时,设备直接报出了问题张量:

Tensor '/model/model/layers.2/mlp/down_proj/Conv_bias' has a floating-point
type which is not supported by the targeted device. Please quantize the
model including its I/O and try again.

关键是第一行的完整路径:它把问题定位到第 2 层 down_proj 的 Conv_bias。设备拒绝的是一个不受目标硬件支持的浮点张量,并要求连同输入输出一起量化。

文本第 1 部分和视觉编码器在性能分析时,则卡在 QnnModel_composeGraphsFromDlc,返回 MODEL_GRAPH_ERROR。第 1 部分尝试了五次以上,视觉编码器尝试了三次,错误一致。作者还把第 1 部分的编译选项从 -O0 改成 -O1,结果没有变化。

作者据此将阻塞归因于厂商发布的 fp16mix AOT 资产:第 1 部分至少有一个 Conv bias 没有量化,而第 2–4 部分的对应张量能够正常组合并运行。

不过,证据要分层看。标题称其为隐藏的 FP32 张量,但展示的日志只写了不支持的浮点类型,没有单独展示 dtype 检查结果。视觉编码器存在同类问题也是作者的判断,文中没有给出它对应的具体张量路径。

至于官方 Genie 流程为何可能绕开问题,作者推测它在本地处理了这些张量,手动链路跳过了这一步。这还不是经过对照验证的结论。

三个环境问题,怎样避免修出新的变量

第一处是依赖隔离。模板固定使用 transformers 5.7.0,而此前导出 Qwen3 和 Llama 的 transformers 4.45 环境,连这个模型的模板都无法导入。作者因此为系列中的每个模型分别维护固定版本环境。

第二处是 ARM64 依赖缺失。构建机上执行 pip install aimet-onnx==2.37.0 找不到匹配发行包,因为 aimet-onnx 没有 aarch64 wheel。视觉编码器类又会在收集阶段立即创建 AIMET QuantSim 会话,导致拆分尚未开始就触发 NameError。

作者读代码后发现,这个会话只供 forward() 本地评估使用;Hub 部署路径搬运的是 AOT checkpoint 中预先构建的 ONNX 包。因此,他把该初始化步骤改为空操作,再比较输出的视觉编码器 ONNX 和 encodings 文件:两者的 sha256 都与厂商原件一致。

这个校验证明的是补丁没有改变交付文件,不能证明资产本身能在设备上运行。

第三处是大文件下载。9.39 GB 的资产在约 70%、6,611,808,256 字节处停住,进程仍存活,却没有超时退出。作者终止下载,将部分文件移到缓存位置,再用 curl -C - 续传。S3 支持 Range 请求,最终文件大小与 Content-Length 完全一致,压缩包检查也通过了。

我的判断

我认可这篇记录最重要的取舍:保留失败结果,不把局部成绩包装成整机性能。9 张图编译通过,只能说明编译阶段完成;后续的图组合、设备执行仍可能失败。

但它提供的性能数据有明确边界:指标是 RB3 Gen 2 上逐图 AI Hub profile 的 estimated_inference_time,不是 Genie 端到端运行结果,不能直接解释为应用的完整响应速度。作者也没有提供手动链路与官方 Genie 流程的成功率或性能对照,不能据此认定哪条路线更优。

独立环境、可续传下载、校验补丁产物,都是合理的工程做法。不过这些仍是本次排障经验,原文没有量化它们能为一般团队节省多少时间。还有一点需要保留:作者计划向厂商提交问题,文中并没有厂商确认或修复结果。

能拿来做什么

  • 接入端侧多模态模型时,把编译、图组合、真机执行和完整推理分别记录;关键部分未运行,就把总性能标成未知。
  • 为不同模型固定各自的 Python 依赖环境,尤其先检查模板要求的 transformers 版本,以及构建机架构是否有匹配的 wheel。
  • 必须绕过初始化逻辑时,先确认部署路径是否依赖它,再比较 ONNX、encodings 等交付文件的哈希,给补丁留下可检查的依据。
  • 下载大型模型资产时先使用支持续传的工具,并核对文件大小和压缩包完整性,减少把下载故障误判为模型故障的机会。
Original source

本文由 AI 通读原文后重新编写,观点部分为站内判断,细节以原文为准,来源 dev.to · AI,原文版权归原作者所有。

阅读原文
上一篇
Qwen4-Max 发布:编程升级,旗舰闭源
下一篇
伪装成项目规范的指令投毒更难识别

资讯速览

dev.to · AI · 2026-11-16 12:26

AI 评分 8.0 / 10

相关标签

#端侧部署#量化#多模态

继续阅读

  • 将 Agent 的工具意图与执行权限分离
  • Qwen4-Max 发布:编程升级,旗舰闭源
  • 伪装成项目规范的指令投毒更难识别
  • 用重复全通过率检验 Agent 稳定性
  • 200 个 MCP 工具先占用约 2.45 万令牌