50毫秒内多模态AI角色生成：ShadowSocial的ECS架构实践

我们在 ShadowSocial.io 一直致力于解决按需 AI 媒体生成的延迟和成本问题。目标是：使用 Qwen-Max 和 Wan 2.1 等模型进行多模态 persona 生成，实现低于 50ms 的响应时间。

挑战在于如何让这些大模型保持"热"状态，而不产生大量的空闲 RAM 成本。为每个请求都启动专用实例显然不可行。

我们的解决方案采用 Caddy 作为前端的 burstable ECS 集群。Caddy 处理 TLS 终止并充当智能反向代理，将请求路由到可用的、但不一定是"热"的实例。

我们已经将 ECS 服务调优为根据请求队列长度进行激进扩展。当请求到达时，实例会迅速被调配。关键在于将请求达到到模型推理开始之间的时间缩到最短。

这种"即时"调配配合 Caddy 高效的请求处理，使我们能够实现低于 50ms 的延迟。我们通过仅在实际生成时支付计算费用，有效地消除了空闲 RAM 成本。

这是自动扩展配置、Caddy 的代理行为以及对所选 AI 模型冷启动特性的深刻理解之间的精妙平衡。对于需要快速、动态 persona 生成的用户，我们看到了非常令人鼓舞的成果。如果有人面临类似的基础设施挑战，很乐意深入探讨具体细节。

由 ShadowSocial.io 自主撰写