开放权重编程模型Beam提供AWS部署路径

Reflection AI 推出了 Beam，这是一款面向智能体编程和长周期任务的开放权重模型，适用于代码维护、工具使用、结果解读以及多步骤工作流执行等任务。开放权重的发布方式让开发者和研究人员能够掌控运行时、部署环境和定制过程。

本文将介绍 Reflection 的愿景，并展示如何在 AWS 上部署 Beam。你可以先使用 Amazon SageMaker JumpStart 实时端点，采用全托管的部署方式。如果需要以 Kubernetes 原生方式控制分布式 GPU 基础设施，则可以使用 Amazon SageMaker HyperPod Inference，搭配 JumpStart、SGLang 或 vLLM。我们还将解释 Beam 的 5010 亿总参数如何影响检查点存储、权重显存、分片和并行策略，以及其 230 亿激活参数如何影响每个 token 的计算量。

发布时，Beam 已在美国东部（弗吉尼亚北部）和美国东部（俄亥俄）的 Amazon SageMaker JumpStart 中提供。

Reflection 的开放智能愿景

Reflection 的使命是通过开放模型权重、公开研究成果和开源软件，让智能向所有人开放，人人可用。其完整的 AI 技术栈涵盖模型、核心软件、生产基础设施和应用。Beam 将这一理念带给构建软件工程系统和智能体系统的开发者。

关于 Reflection Beam

Beam 是一款稀疏混合专家模型，用于解决软件问题、修改代码、调用工具，并根据中间结果采取行动。它拥有 5010 亿总参数和 230 亿激活参数，Reflection 报告其有效上下文长度为 100 万 token。

Reflection 通过 Hugging Face 以 Apache 2.0 许可证发布 Beam 的权重。Beam 1.0 提供 BF16、FP8 和 NVFP4 三种检查点变体。这些格式具有不同的显存占用和硬件兼容性。你可以使用 AWS 托管的 JumpStart 容器配置部署模型，也可以在自己的 AWS 环境中使用 SGLang 或 vLLM 查看和定制模型。

了解部署架构

选择符合控制和扩展需求的模型服务部署路径。

如果希望使用 AWS 托管的模型包、端点和调用 API，同时无需运维 Kubernetes，可以从 SageMaker JumpStart 实时端点开始。

如果希望在由 Amazon Elastic Kubernetes Service（Amazon EKS）编排的 HyperPod 集群上使用 AWS 托管的容器和模型配置，可以在 HyperPod Inference 上使用 JumpStart。

如果需要控制模型服务镜像、运行时参数、量化方式或分布式执行，可以在 HyperPod Inference 上使用 SGLang 或 vLLM。

根据检查点存储、权重显存、KV 缓存、上下文长度、批处理、运行时开销以及支持的并行方式，确定部署规模。

明确预期并发量和延迟目标，然后根据实际测量的工作负载表现，配置副本、缓存、路由和自动扩缩容。

JumpStart 实时端点路径通过托管部署工作流，将模型、容器和端点封装起来。HyperPod 路径则开放集群和模型服务运行时的控制，让你能够管理分布式执行、缓存、路由和扩缩容。

下图展示了 HyperPod 路径使用的组件。Beam 可以从 SageMaker JumpStart、Hugging Face Hub 或可选的 Amazon Simple Storage Service（Amazon S3）镜像获取。分布式工作节点使用 AWS 托管的 JumpStart 容器，或自定义的 SGLang、vLLM 运行时。

图 1：使用 Amazon SageMaker HyperPod Inference 分布式部署 Beam

一个 AWS 账户，具备所选 SageMaker 部署路径及其配套 AWS Identity and Access Management（IAM）、网络和存储资源的使用权限。

能够通过 SageMaker JumpStart 或 Hugging Face 上的某个 Beam 1.0 检查点仓库访问 Beam。

接受模型条款，并准备好 AWS Command Line Interface（AWS CLI）及 Python 3.11 或更高版本。

具备受支持 Beam 配置所需的 GPU 配额和容量。

规划并获取 GPU 容量

Beam 的 5010 亿总参数要求采用多 GPU 部署。BF16 对权重显存的需求最大，因此需要规划多节点配置，确保 GPU 总显存足以容纳权重和运行时开销。对于 FP8，请使用搭载 NVIDIA H100 GPU 的 ml.p5.48xlarge，或搭载 H200 GPU 的 ml.p5e.48xlarge 和 ml.p5en.48xlarge。对于 NVFP4，请使用搭载 NVIDIA B200 GPU 的 ml.p6-b200.48xlarge。确认已发布的检查点、运行时和并行布局支持所选实例类型。

计算单个副本的权重、KV 缓存和运行时开销所需的显存，再通过负载测试验证估算结果。

选择支持所需加速计算实例的 AWS 区域。

检查所选实例类型的服务配额和可用容量。有可用资源时使用按需容量，或使用 SageMaker 训练计划，为计划内的工作进行短期容量预留。

为镜像传输、权重下载、分片加载和运行时初始化预留时间。

路径 1：从 SageMaker JumpStart 实时端点开始

如果希望以最短路径从模型目录部署到托管 HTTPS 端点，请优先使用 JumpStart 实时端点。该示例通过一条能够识别变体的命令，支持 BF16、FP8 和 NVFP4 模型 ID。有关支持的实例类型、请求结构、部署命令和清理命令，请以其 README 和 Python 文件为准。

克隆示例仓库。git clone https://github.com/aws-samples/sagemaker-genai-hosting-examples.git

git clone https://github.com/aws-samples/sagemaker-genai-hosting-examples.git

进入 SageMaker JumpStart 部署示例目录。cd sagemaker-genai-hosting-examples/01-models/ReflectionAI/Beam-1.0-501B-A23B-NVFP4/

cd sagemaker-genai-hosting-examples/01-models/ReflectionAI/Beam-1.0-501B-A23B-NVFP4/

创建并激活 Python 虚拟环境。python3 -m venv .venv source .venv/bin/activate

python3 -m venv .venv
source .venv/bin/activate

安装示例依赖。python -m pip install -r requirements.txt

python -m pip install -r requirements.txt

运行 FP8 的完整部署、调用和清理流程。python jumpstart_real_time.py \ --variant fp8 \ --endpoint-name reflection-beam-fp8-smoke 该命令会部署 FP8 端点，发送一个简短请求，打印响应，然后清理端点。使用 bf16 或 nvfp4 可以选择其他检查点变体；省略 --variant 时默认使用 NVFP4。如果需要让端点持续运行，请使用 README 中的 Python 函数。

python jumpstart_real_time.py \
--variant fp8 \
--endpoint-name reflection-beam-fp8-smoke

该命令会部署 FP8 端点，发送一个简短请求，打印响应，然后清理端点。使用 bf16 或 nvfp4 可以选择其他检查点变体；省略 --variant 时默认使用 NVFP4。如果需要让端点持续运行，请使用 README 中的 Python 函数。

路径 2：使用 SageMaker HyperPod Inference 部署

如果需要以 Kubernetes 原生方式控制分布式 GPU 基础设施，请使用 HyperPod Inference。你可以使用 AWS 托管的 JumpStart 容器配置，也可以通过 SGLang 或 vLLM 部署 Beam。有关已发布的清单文件、模型和镜像标识符、支持的运行时版本以及命令，请以 HyperPod Inference 部署示例的 README 及其配置文件为准。

开始之前，请配置 kubectl，使其能够访问由 EKS 编排、并已安装 HyperPod Inference Operator 及所需附加组件的 HyperPod 集群。你还需要准备集群的虚拟私有云（VPC）、子网、安全组，以及所选 Beam 和运行时制品的访问权限；如果启用模型缓存，还需要本地 NVMe 容量。如果所选仓库要求身份验证，请使用独立的 Hugging Face 访问令牌。

在开发和实验阶段，从 Hugging Face Hub 部署固定修订版本的 Beam。对于生产部署和模型缓存，请将检查点复制到 Amazon S3 或 Amazon FSx。HyperPod 的模型和镜像缓存可以将权重预加载到节点本地 NVMe 存储，并预先拉取模型服务镜像。

HyperPod Inference Gateway 提供兼容 OpenAI 的接口，并在副本之间路由请求。HyperPod Inference 还支持托管的分层 KV 缓存和智能路由。这些功能属于 Amazon SageMaker Inference 在 2026 年推出的能力。

下图进一步展示了模型准备过程和运行时请求流程。启用模型缓存后，Inference Operator 会将所选权重和模型服务镜像预加载到符合条件的节点。运行时，Inference Gateway 和 Endpoint Picker 可以将每个请求定向到合适的 JumpStart 托管副本、SGLang 副本或 vLLM 副本。

图 2：HyperPod 模型缓存与请求路由

准备部署制品

使用不可变的输入，以便复现部署和性能结果。

使用部署示例中记录的 JumpStart 模型发布版本。

为自定义运行时选择 BF16、FP8 或 NVFP4 检查点。

使用自定义运行时时，请在示例的发布配置中保留公开的 Beam commit SHA 和镜像摘要。

仅当集群无法拉取上游镜像，或组织要求使用经过批准的镜像仓库时，才将已发布的镜像镜像到私有 Amazon Elastic Container Registry（Amazon ECR）仓库。

不要将令牌、生成的密钥、私有模型 ID、镜像仓库凭证和未公开的结果存入代码仓库。

选择模型服务部署方式

除非工作负载需要特定的推理运行时或配置，否则请从 SageMaker JumpStart 开始。

使用 SageMaker JumpStart 部署

SageMaker JumpStart 可以减少容器集成工作，同时由 HyperPod 保持对集群容量、扩缩容和可观测性的控制。

在 SageMaker Studio 中，打开 JumpStart 模型目录。

在 All public models 下，选择 Beam。

选择 SageMaker HyperPod 作为部署目标。

选择集群和 Kubernetes 命名空间。

输入端点名称，然后选择 Deploy。

确认部署状态后，再使用已发布的 JumpStart 请求模式调用端点。

对于基础设施即代码工作流，请使用 HyperPod 示例中已发布的 JumpStart 配置。配置部署之前，可以先查看 reflection-beam-jumpstart.yaml 清单模板。

克隆示例仓库，然后进入 HyperPod Beam 目录。git clone https://github.com/aws-samples/sagemaker-genai-hosting-examples.git cd sagemaker-genai-hosting-examples/SageMakerHyperpod/reflection-beam/

git clone https://github.com/aws-samples/sagemaker-genai-hosting-examples.git
cd sagemaker-genai-hosting-examples/SageMakerHyperpod/reflection-beam/

按照 README 中的说明创建本地配置文件。cp config/deployment.env.example config/deployment.env cp config/release.env.example config/release.env

cp config/deployment.env.example config/deployment.env
cp config/release.env.example config/release.env

更改集群之前，先验证 JumpStart 配置。python hyperpod_tool.py \ --config config/deployment.env \ --config config/release.env \ validate jumpstart

python hyperpod_tool.py \
  --config config/deployment.env \
  --config config/release.env \
  validate jumpstart

部署 JumpStart 配置。python hyperpod_tool.py \ --config config/deployment.env \ --config config/release.env \ deploy jumpstart \ --timeout-seconds 1800

python hyperpod_tool.py \
  --config config/deployment.env \
  --config config/release.env \
  deploy jumpstart \
  --timeout-seconds 1800

辅助工具会渲染并应用已发布的 JumpStartModel 资源，而不会将填入具体发布配置值的内容写入磁盘。

使用 SGLang 或 vLLM 部署

如果需要直接控制模型服务运行时，请选择 SGLang 或 vLLM。配置部署之前，请先查看 reflection-beam-sglang.yaml 清单模板或 reflection-beam-vllm.yaml 清单模板。已发布的配置值和命令仍以示例 README 为准。

克隆示例仓库。git clone https://github.com/aws-samples/sagemaker-genai-hosting-examples.git

git clone https://github.com/aws-samples/sagemaker-genai-hosting-examples.git

进入 HyperPod Beam 目录。cd sagemaker-genai-hosting-examples/SageMakerHyperpod/reflection-beam/

cd sagemaker-genai-hosting-examples/SageMakerHyperpod/reflection-beam/

按照 README 中的说明创建本地配置文件。cp config/deployment.env.example config/deployment.env cp config/release.env.example config/release.env

cp config/deployment.env.example config/deployment.env
cp config/release.env.example config/release.env

更改集群之前，先验证所选配置。python hyperpod_tool.py \ --config config/deployment.env \ --config config/release.env \ validate sglang

python hyperpod_tool.py \
  --config config/deployment.env \
  --config config/release.env \
  validate sglang

部署 Beam，并等待部署进入终态。python hyperpod_tool.py \ --config config/deployment.env \ --config config/release.env \ deploy sglang \ --timeout-seconds 1800 将 sglang 替换为 vllm 即可使用 vLLM。辅助工具会验证所选设置，应用渲染后的清单而不将发布配置值写入磁盘，在固定超时时间内等待，并在部署失败时输出诊断信息。

python hyperpod_tool.py \
  --config config/deployment.env \
  --config config/release.env \
  deploy sglang \
  --timeout-seconds 1800

将 sglang 替换为 vllm 即可使用 vLLM。辅助工具会验证所选设置，应用渲染后的清单而不将发布配置值写入磁盘，在固定超时时间内等待，并在部署失败时输出诊断信息。

使用已发布的模型请求模式调用 JumpStart 端点。对于 SGLang 或 vLLM，请使用 HyperPod 示例中包含的、有执行限制的冒烟测试。

调用已部署的端点

安装示例客户端依赖。python3 -m venv .venv source .venv/bin/activate python -m pip install -r requirements.txt

python3 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements.txt

使用建议的初始采样设置，执行私有健康检查并发送一个简短请求。python hyperpod_tool.py \ --config config/deployment.env \ smoke sglang \ --prompt "List three checks for a healthy model deployment." \ --temperature 1.0 \ --top-p 0.7 对于 vLLM 部署，请将 sglang 替换为 vllm。辅助工具会选择一个已就绪的工作节点，建立临时端口转发，检查端点健康状态，发送请求，然后关闭端口转发。

python hyperpod_tool.py \
--config config/deployment.env \
smoke sglang \
--prompt "List three checks for a healthy model deployment." \
--temperature 1.0 \
--top-p 0.7

对于 vLLM 部署，请将 sglang 替换为 vllm。辅助工具会选择一个已就绪的工作节点，建立临时端口转发，检查端点健康状态，发送请求，然后关闭端口转发。

响应类似如下内容：

1. Confirm that the endpoint reports ready.
2. Send a short inference request.
3. Review the service logs for startup errors.

对于启用了身份验证的 Inference Gateway，请使用 HyperPod 示例 README 中的 bearer-token 操作流程。不要将凭证写入源代码、清单或命令历史记录。

测量并调优性能

在预期并发量下，使用有代表性的编码和工具使用请求，对每种模型服务部署方式进行重复测试。

记录 Beam 模型版本、镜像摘要、实例类型、精度、上下文长度、并行度、模型服务启动参数、缓存状态和测试重复次数。

测量请求成功率、首个 token 延迟的 p50 和 p95、每个输出 token 的耗时、端到端延迟，以及每秒输出 token 总数。

根据这些结果，调优批大小、KV 缓存分配、副本数、自动扩缩容，以及模型和镜像缓存。

更改精度或量化方式后，重新检查输出质量。

测试结束后删除资源，避免持续产生费用。

对于 SageMaker JumpStart 实时端点，请遵循 SageMaker JumpStart 部署示例 README 中的清理说明。

对于 Amazon SageMaker HyperPod Inference 上的 JumpStart、SGLang 或 vLLM，请遵循 HyperPod Inference 部署示例 README 中的清理说明。

删除为本教程专门创建的 HyperPod 或 Amazon EKS 集群。

删除不再使用的缓存权重、镜像制品、负载均衡器、日志组、临时 IAM 角色，以及采集的推理数据。

Reflection Beam 为开发者提供了一个专为智能体编码和多步骤任务设计的开放权重模型。若要采用全托管部署，请从 SageMaker JumpStart 实时端点开始。如果需要 Kubernetes 原生的基础设施控制能力，同时又不想管理模型服务容器，请在 SageMaker HyperPod Inference 上使用 JumpStart；如果需要自定义运行时，则选择 SGLang 或 vLLM。

使用 SageMaker JumpStart 部署示例或 HyperPod Inference 部署示例，然后按照说明操作。

要了解有关 Reflection AI 及其开放智能愿景的更多信息，请访问 Reflection AI，并阅读《Introducing Beam》。

Reflection Beam 检查点变体：BF16、FP8 和 NVFP4

SageMaker JumpStart 部署示例

使用 JumpStart、vLLM 和 SGLang 的 HyperPod Inference 部署示例

将 SageMaker JumpStart 中的基础模型部署到 HyperPod Inference

Amazon SageMaker Inference 2026 年初至今发布内容回顾