AWS 训练任务支持跨团队借用 GPU 配额

AWS Batch 为 Amazon SageMaker Training jobs 增加了配额管理能力：管理员可以按团队或项目划分 GPU 容量，让空闲份额自动借给有任务的团队，并通过抢占回收资源、安排高优先级任务。它解决的是共享训练资源的分配问题，减少管理员调整容量、协调任务运行的工作。

目前能确认什么

配额份额（Quota Share）是关联作业队列内的虚拟队列，包含容量上限和共享策略，支持三种配置：

• RESERVE：空闲容量保留，等待自身任务。
• LEND：空闲容量可以借出。
• LEND_AND_BORROW：空闲时借出，有需求时也能借入。

调度器优先考虑尚未达到容量上限的份额。借出方有任务到来时，AWS Batch 会通过跨份额抢占回收资源；达到上限的份额，则可以检查是否有其他空闲容量可借。

份额内还可开启基于优先级的抢占，让高优先级任务抢占处于 SCHEDULED、STARTING 或 RUNNING 状态的低优先级任务。这与跨份额回收是两套机制。

配置涉及 Scheduling Policy、Service Environment 和训练作业队列。节选使用 SageMaker Python SDK v3，并展示了启用检查点（checkpointing）的后台任务示例。检查点用于保存训练进度，便于中断后恢复。

我的判断

共享 GPU 的团队，可以把部分资源协调规则交给调度器执行。

例如，后台训练借用其他项目的空闲份额，资源拥有方有任务时再回收。但程序员也需要把「训练可能被中断」纳入任务设计。

支持抢占，不等于训练能自动无损续跑。

节选没有交代抢占通知、终止等待时间、检查点恢复流程，以及重试如何衔接。这些细节决定了长时间训练被打断后的实际损失。另外，份额内优先级不能直接理解为整个队列的全局优先级；跨团队的优先级关系，也要等完整原文或官方文档确认。