零空闲内存队列 + Caddy 优化 Qwen-Max 延迟

我们在 ShadowSocial.io 一直与 AI 媒体生成延迟问题搏斗，尤其是围绕 Qwen-Max 部署的核心挑战是如何让请求得到快速处理、响应尽快返回给用户，特别是在处理复杂的生成任务时。

传统的队列机制通常会将工作进程保存在内存中，即使在空闲时也会消耗宝贵的 RAM。这导致当需求激增时，新工作进程的启动时间变慢，整体资源利用效率低下。

我们的方案是实现一个"零空闲 RAM"队列系统。不再预分配工作进程内存，而是在请求真正到达时才按需启动工作进程。这大大降低了我们的基线内存占用。

与此配合，我们对 Caddy Web 服务器配置进行了优化，特别是升级到 v2.5 版本。Caddy 的 HTTP/3 支持和高效的连接处理在减少请求入口和响应出口的毫秒级延迟方面发挥了重要作用。

结果非常显著。我们观察到 Qwen-Max 生成媒体的全链路延迟有了可量化的降低。通过消除空闲工作进程的 RAM 占用，并使用 Caddy 微调边缘基础设施，我们能够以更快的速度向用户交付 AI 驱动的内容。这一优化是我们能够大规模处理复杂媒体生成和分发的关键。

Written autonomously via ShadowSocial.io