Hugging Face 模型一键集成 Amazon SageMaker
简化 HF 模型到 AWS 的部署流程。对 AWS 用户便利,但主要是平台集成功能而非技术创新。
简化 HF 模型到 AWS 的部署流程。对 AWS 用户便利,但主要是平台集成功能而非技术创新。
之前,在 Hugging Face 发现一个模型后,想要开始在 SageMaker Studio 上工作需要经历多个步骤:在 AWS 控制台中打开 Amazon SageMaker AI、创建一个域、配置 IAM 权限,有时还需要申请 GPU 配额。对于想要快速迭代的开发者来说,这种摩擦会减慢从灵感到实验的速度。这个集成为从发现到企业部署创造了一条更直接的路径。
At Arcee, we build open models so developers and enterprises can actually own what they run: inspect the weights, post-train on their own data, and deploy on their own terms. This integration takes that promise the last mile. Going from an open model on Hugging Face straight into SageMaker Studio in a single click, then fine-tuning or deploying it inside your own AWS environment with nothing to wire up, is the kind of experience open models have been missing. Open weights you own, running in the cloud you control. That is exactly the combination our customers have been asking for.
— Mark McQuade, Founder and CEO, Arcee AI
通过一键 Studio 登陆体验的发布,在支持的 Hugging Face 模型页面上选择 Customize on SageMaker AI 或 Deploy on SageMaker AI,会将你直接带到控制台。然后 SageMaker AI 会在几秒内自动配置一个预设权限的新域,并保留模型上下文。
此次发布引入了三项功能,可以缩短从 Hugging Face 模型到工作中的 SageMaker Studio 工作流的路径。
当你在 Hugging Face 浏览模型时,你现在会在支持的模型旁边看到动作按钮,这些按钮直接映射到 SageMaker Studio 工作流:
Customize on SageMaker AI 打开 Studio 中的模型定制页面,预加载选定的模型,准备进行微调。
Deploy on SageMaker AI 打开 Studio 中的部署页面,模型已预配置用于端点部署。
每个入口都保留上下文,这意味着进入 Studio 后无需再次搜索模型。
通过此流程创建的新 Studio 环境已经配置了权限,支持 SageMaker AI 的全部功能,包括模型定制、训练作业、笔记本实验和端点部署。系统会自动为你创建并附加一个新托管策略 AmazonSageMakerModelCustomizationCoreAccess。它为使用监督微调 (SFT)、直接偏好优化 (DPO)、具有可验证回报的强化学习 (RLVR) 和来自 AI 反馈的强化学习 (RLAIF) 的无服务器模型定制作业提供权限,支持部署到 SageMaker AI 或 Amazon Bedrock 端点。这消除了在开始实验前手动创建和配置 AWS 身份和访问管理 (IAM) 角色和策略的需要。对于现有 Studio 环境,可操作的消息和文档直接链接可指导你添加这些权限。
选择用于部署或训练的实例类型时,Studio UI 现在在实例选择列表中直接显示配额可用性。你可以立即查看你的账户当前限制下哪些 GPU 实例类型(G5、G6)可用。无需单独导航到服务配额。如果仍需要请求提高限制,你会被直接重定向到相应实例类型的服务配额页面。
让我们走一遍从 Hugging Face 开始定制或部署模型的体验。
步骤 1:发现并选择
在 Hugging Face 模型页面上,点击"Deploy"并选择"Amazon SageMaker AI"。如果支持该模型,你会看到两个按钮:"Deploy on SageMaker AI"和"Customize on SageMaker AI"。然后为支持的模型选择"Customize on SageMaker AI"。
步骤 2:登录
系统提示你使用现有凭证登录 AWS。如果你已经有活跃的控制台会话,此步骤会自动跳过。详细信息请参阅登录 AWS 管理控制台。
步骤 3:进入 Studio
你会直接进入 SageMaker Studio 内的模型定制页面,你的模型已预选。接下来,配置微调参数,如训练数据、超参数和实例类型,然后提交定制作业。
或者,选择 Deploy on SageMaker AI 会在 Studio 中打开端点部署页面,模型已预配置。选择实例类型(包括配额可见性),检查设置,然后部署。
步骤 4:测试端点
部署端点后,在 Studio 的端点测试界面直接测试推理。
你可以立即尝试此体验:
在 Hugging Face 上浏览模型。
在支持的模型上查找 Customize on SageMaker AI 或 Deploy on SageMaker AI 按钮。
选择并遵循简化的登录流程。
在完全配置的 SageMaker Studio 环境中开始构建。
一键 Studio 登陆体验的发布最小化了发现模型和试验它之间的摩擦。通过将 Hugging Face 直接连接到 SageMaker Studio 工作流,开发者可以保持专注。没有上下文切换,没有手动环境设置,也没有权限故障排除。
要开始,请访问 Amazon SageMaker Studio 页面或在 Hugging Face 上探索模型,并选择 Deploy 或 Customize on SageMaker AI。