Model Explorer 支持自定义编译图调试

Model Explorer 的能力不止于展示高层模型计算图。来看看 Arm 如何接入自定义编译器 IR，并排核验 NPU 委派情况，以及将精确到时钟周期的性能分析轨迹直接映射到执行图上。

机器学习模型在各种硬件上本地运行，从低功耗边缘设备，到游戏显卡，再到物理 AI 系统。要让模型在这些目标硬件上高效运行，需要经过量化、计算图降级（graph lowering）、算子融合和硬件委派等编译步骤。

Arm 使用 Google AI Edge Model Explorer，让开发者能够直观查看这些处理流程。借助 Model Explorer 的分层计算图可视化能力和插件架构，Arm 构建了多个开源适配器，让边缘模型转换过程更容易检查。

将模型部署到边缘硬件时，框架变更或算子约束都可能改变导出的执行图。工程师通常需要回答三个问题：

• **结构完整性：**计算图降级是否引入了非预期算子，比如多余的布局转置？
• **硬件委派：**模型是否已完全委派给 NPU 或 GPU，还是有不受支持的子图回退到了 CPU？
• **时钟周期级瓶颈：**降级后的计算图中，哪些节点消耗的计算周期最多？

通过阅读原始 flatbuffers 或文本日志来回答这些问题很耗时，尤其是在处理大语言模型（LLM）和神经网络时。Arm 需要一个可视化工具，用来检查 Arm 专用的中间表示和硬件性能分析轨迹。

Arm 如何使用 Model Explorer 的可视化调试工作流

为了解决这些部署难题，Arm 为 Google AI Edge Model Explorer 开发了自定义适配器，支持多种模型格式，包括 TOSA、VGF 和 PTE，从而建立了一套完整的端侧优化可视化工作流。借助这些扩展，工程团队可以直接在模型计算图上验证导出流程、核验加速器委派情况，并定位时钟周期级的性能瓶颈：

1. 找出 VGF 中隐藏的导出回归问题

Arm 工程师使用 Model Explorer，验证了一个通过 PyTorch 训练的 Neural Super Sampling（NSS）模型。该模型通过 ExecuTorch Arm backend 导出为 VGF 文件，供 Vulkan ML Extensions 使用。在检查 VGF 计算图时，团队发现 ExecuTorch Arm backend 的一项变更引入了非预期的 TRANSPOSE 算子。

Model Explorer 允许用户检查模型计算图中的单个节点。例如，下方展示的 rescale 算子节点会显示该算子的属性，以及 SPIR-V 张量连接。这项功能帮助 Arm 团队定位并修复了这一回归问题，无需手动分析原始日志文件。

2. 通过分屏视图核验 NPU 委派与 CPU 回退

为了针对 Arm Ethos-U85 NPU 等加速器优化视觉模型，Arm 工程师使用 Model Explorer 的分屏视图，并排比较一个 Ultralytics YOLO 模型在 CPU 上执行的计算图和委派给 NPU 的计算图。

分屏视图展示了两者的结构差异：CPU 计算图显示每一个独立的层，而 NPU 计算图则将整个网络合并为一个 EthosUBackend 块，位于 quantize 和 dequantize 节点之间。对于 LiteRT 或 ExecuTorch 中仅得到部分支持的模型，这种视图有助于找出未被委派的算子，以及被拆分的子图。

3. 通过逐节点轨迹叠加定位硬件瓶颈

为了找出 Ethos-U NPU 上的延迟瓶颈，Arm 在其 Fixed Virtual Platform（FVP）模拟器上运行模型，并使用 Model Explorer 的节点数据插件，将周期精确的执行轨迹叠加到计算图上。通过颜色编码的热力图，团队发现，单个 TRANSPOSE 节点就是主要的延迟瓶颈。

现在，你就可以通过 PyPI 或 GitHub 获取 Google AI Edge Model Explorer 及 Arm 的开源适配器，在本地检查和优化自己的端侧模型。

安装 Google AI Edge Model Explorer

安装适配器，并针对你的模型格式启动 Model Explorer。LiteRT 适配器（内置）、PyTorch 适配器（内置）、Hugging Face Transformers 适配器（内置）、TOSA 适配器（Arm 插件）、VGF 适配器（Arm 插件）、PTE 适配器（Arm 插件）。

• LiteRT 适配器（内置）
• PyTorch 适配器（内置）
• Hugging Face Transformers 适配器（内置）
• TOSA 适配器（Arm 插件）
• VGF 适配器（Arm 插件）
• PTE 适配器（Arm 插件）

查阅用户指南，并试用主要功能：计算图导航、并排分屏视图。

并排分屏视图。

特别感谢 Arm 和 Google AI Edge 团队的以下贡献者，感谢他们在这些适配器和集成工作中付出的努力：

**ARM：**Narumol Prangnawarat、Joshua Slater、Stefana Simion、Adam Hodson、Alona Enraght-Moony、Áron Virginás-Tar、Carey Williams、Gleb Vinnychenko、Hamza Arslan、Marco Domingo、Matthew Sloyan、Michael Mc Curtin、Mitch Bailey、Richard Burton、Robert Hughes、Robert Taylor、Tomás Agustín González Orlando

**Google：**Alan Ma、Eric Yang、Jing Jin、Na Li

**产品经理：**Charlie Stokes（ARM）、Derek Bekebrede

**设计师：**Ami Kubota、Ioannis Politis（ARM）、Kathleen Low、Philip Watson（ARM）

**高级支持者：**Bala Gattu（ARM）、Cormac Brick、Joe Alderson（ARM）、Matthias Grundmann、Sharbani Roy（ARM）