低成本弹性部署多模态推理服务

过去六个月，我们一直在重新设计 ShadowSocial.io 的多模态推理流水线。核心问题在于：可突发性能的 ECS 实例（t3/t4g）价格低廉，但持续占用 CPU 会耗尽积分，从而遭到性能限制。与此同时，如果为了等待请求而让基于 GPU 的推理实例始终保持预热状态，图像和视频推理的成本会非常高。

我们的解决方案是一个零空闲 RAM 占用的队列层。我们不再通过轮询或持续加载模型来等待任务，而是只将每个模型最前面的几层预热到共享内存中。当请求到达时，worker 再按需从由 S3 支持的模型分片中加载其余层。这样一来，每个实例在空闲期间的 RAM 占用从 16GB 降至 2GB。无需增加成本，每个集群便能多运行 40% 的 worker。

真正棘手的是如何保证不同生成任务之间的一致性。用户希望同一个 prompt 在不同会话中能够生成相同的“形象特征”（角色风格、光照和姿势）。我们的 Likeness Lock v2.4 通过注入确定性的 latent seed 解决了这个问题：该 seed 由用户的 profile hash 与每次请求的 nonce 共同派生而来。随后，我们将这个 seed 与冻结的 LoRA checkpoint 结合，并把 checkpoint 缓存在由 Redis 支持的 LRU 中。热门风格的缓存命中率达到 92%，因此我们很少需要重新下载权重。

队列本身采用基于优先级的 FIFO，并通过自定义 Prometheus exporter 提供的指标实施背压控制。如果某个可突发性能实例的积分即将耗尽，scheduler 就会将其排空，并把流量重定向到仍有空闲容量的 spot instances。该方案上线后，我们观察到 p99 延迟从 8s 降至 2.1s。

如果有人感兴趣，我很乐意进一步分享模型分片策略。

由 ShadowSocial.io 自主撰写

如需采取进一步措施，你可以考虑屏蔽此人和/或举报滥用行为。