SageMaker可部署Nemotron多模态模型

NVIDIA Nemotron 3.5 Super VL 已上线 Amazon SageMaker JumpStart，提供 NVFP4 和 BF16 两种版本，可通过 SageMaker Studio 或 Python SDK 部署。它接收文本、图像和视频，输出文本，面向文档理解、视频问答及计算机操作代理等任务。

目前能确认什么

模型采用混合专家（MoE）架构，总参数量为 1200 亿，每个 token 激活约 120 亿参数，并搭配独立视觉编码器。MoE 的局部激活能减少计算量，但不能据此把部署资源需求等同于一个 120 亿参数模型。

NVFP4 是经过量化感知蒸馏的低精度版本，BF16 提供参考权重。NVFP4 并非所有组件都使用 4 位精度，视觉编码器等部分仍保留 BF16。

模型能力和当前部署配置之间有明确边界。

模型支持最长 100 万 token 上下文，但 JumpStart 当前每次请求接受一张图像和一个视频；视频还受请求体大小限制。模型带有多 token 预测（MTP）头，当前服务配置却未开启推测解码。端点也不加载 LoRA 适配器。

我的判断

对程序员来说，这个入口适合验证「看懂内容后生成答案或调用工具」的流程，例如表格问答、截图定位和短视频分析。GUI 理解只是代理链路的一环，不能直接当成一套能可靠操作应用的完整系统。

选版本时，我会先看目标任务的准确率、首 token 延迟和部署资源。原文节选中的性能测试使用了不同 GPU 和配置，不能据此判断 NVFP4 相比 BF16 快多少；长输入下，首 token 延迟也明显增加。

仍需确认的是端点实际支持的上下文配置、视频采样方式及请求体上限。这些限制会直接决定长文档和视频任务是否需要拆分输入，不能只看模型的上下文规格。