用 ComfyUI 搭建异步生图 API
教程介绍在 Ubuntu GPU 服务器上部署无界面 ComfyUI,通过 FastAPI 和 WebSocket 包装异步接口,并配置 Nginx 与 HTTPS。硬件选型强调按最重工作流规划显存、内存和存储,减少模型换入换出的延迟。
AI 深度解读
每月生成 50,000 张图片,按每张 $0.03–$0.05 计费,托管 API 的账单会达到 $1,500–$2,500。原文提出另一条路:租一台独占 GPU 服务器,用 ComfyUI 执行工作流,再封装成业务 API,基础设施费用约 $350/月。
值得读的是它如何连接工作流、任务通知、鉴权和部署。但「成本固定」有容量前提,示例中的「异步」也不等于提交后立即返回。把它当作自托管服务的起点,比直接照搬上线更合适。
每月约 $350,能替代多少托管调用
作者建议按最重的生产工作流选机器。显存不足时,模型权重需要在系统内存与显存之间搬运,可能带来数秒的延迟尖峰;平均测试提示词跑得动,并不能证明生产任务稳定。
原文给出两档配置:RTX 3090、RTX 4090 的 24 GB 显存用于 SDXL、Flux.1 Schnell(fp8);RTX A6000、L40S 的 48 GB 显存用于让 Flux.1 fp16 与多个 ControlNets 同时驻留。系统内存至少 64 GB,存储建议 500 GB NVMe SSD,因为单个 Flux checkpoint 就超过 20 GB。
软件基线是 Ubuntu 24.04 LTS、NVIDIA Driver 550+、CUDA 12.4+、Python 3.11+,网关使用 FastAPI、Uvicorn 和 Nginx。安装部分通过 nvidia-smi 检查驱动,PyTorch 使用 CUDA 12.4 对应的 cu124 包源。
作者报告,在 RTX 4090、24 GB 显存、CUDA 12.4 环境下,权重已经驻留显存时,1024×1024、4-step 的 Flux.1 Schnell 端到端生成约需 2.3 秒。这是文中唯一明确的性能结果,没有并发测试、延迟分位数或长期运行数据。
每月约 $350 买到的是一台机器的有限产能,流量增长后仍需为扩容付费。
原文还强调模型许可:Flux.1 Schnell 标注为 Apache 2.0,FLUX.1 [dev] 则有非商业限制。商业接入前,需要核对实际下载权重的许可,不能只看模型家族名称。
ComfyUI 工作流,怎样变成业务接口
整个服务分三层:ComfyUI 在 127.0.0.1:8188 执行工作流;FastAPI 在 127.0.0.1:8000 提供 /v1/generate;Nginx 负责公网入口和 HTTPS。
作者明确要求原生 8188 端口不要直接暴露公网,因为它缺少鉴权,且具备本地文件读写能力。ComfyUI 使用普通用户 comfy 运行,systemd 启动参数为 --listen 127.0.0.1 --port 8188 --disable-auto-launch,配合 Restart=always、RestartSec=5 和 LimitNOFILE=65535 管理进程。
工作流也不能直接拿普通 UI 存档提交。/prompt 需要 API JSON,其中节点 ID 对应 class_type 和 inputs。作者通过 ssh -L 8188:localhost:8188 user@your_server_ip 转发端口,在本地验证出图,再开启 Enable Dev mode Options,使用 Save (API Format) 或 Export (API) 导出 workflow_api.json。
网关随后复制模板,修改提示词、尺寸和 seed。示例将正向、负向、尺寸、采样和输出节点分别绑定为 "6"、"7"、"5"、"3"、"9"。这些 ID 必须与自己的导出文件一致。CLIPTextEncode、EmptyLatentImage、EmptySD3LatentImage、KSampler、RandomNoise、SaveImage 的输入字段也需要逐个核对,不能只替换 ID。
请求模型负责把业务输入限制在明确范围内:
class GenerateRequest(BaseModel):
prompt: str = Field(min_length=1, max_length=2000)
negative_prompt: str = Field(default="", max_length=2000)
width: int = Field(default=1024, ge=256, le=2048, multiple_of=8)
height: int = Field(default=1024, ge=256, le=2048, multiple_of=8)
seed: int | None = Field(default=None, ge=0, le=2**63 - 1)
这里要留意 multiple_of=8:宽高除了限制在 256–2048,还必须是 8 的倍数。但参数格式合法,并不保证对应尺寸在当前工作流里不会耗尽显存。
WebSocket 解决等待通知,没有消除排队
作者没有反复轮询 /history/{prompt_id},而是在提交前连接内部 /ws,然后调用 /prompt。先订阅、后提交,是为了避免任务迅速完成时错过通知。
下面这段代码通过 prompt_id 匹配当前任务,并识别失败和完成事件:
while True:
msg = await ws.recv()
if isinstance(msg, bytes):
continue
event = json.loads(msg)
data = event.get("data", {})
if data.get("prompt_id") == prompt_id:
if event["type"] == "execution_error":
raise HTTPException(500, "ComfyUI graph execution failed")
if event["type"] == "executing" and data.get("node") is None:
return prompt_id
关键是最后一个条件:executing 事件中的 node 为 None,才被判定为完成。之后网关读取 /history/{prompt_id},找到 SaveImage 的第一张图片,再通过 /view 获取文件。
因此,这仍然是一个等待生成结束才返回的 HTTP 接口。asyncio 和 WebSocket 让服务能够异步等待,却没有提供「先返回任务 ID,再查询结果」的任务 API;浏览器也不需要直接连接 ComfyUI。
网关默认 MAX_QUEUE_DEPTH=8,达到队列上限返回 429,并附带 Retry-After: 10;GENERATION_TIMEOUT=240,等待超时返回 504。作者要求 Uvicorn 保持 1 worker,因为示例中的单 GPU 执行路径会串行处理任务。
外层 Nginx 设置 proxy_read_timeout 300s 和 proxy_send_timeout 300s,避免默认 60 秒读超时提前切断请求。API key 从 /etc/comfy-api.env 读取,文件权限为 600,请求通过 X-API-Key 鉴权;Certbot 配置 Let's Encrypt,UFW 仅放行 OpenSSH 和 Nginx Full。
内部服务可以直接接收 PNG,响应头 X-Seed 返回实际 seed。面向客户时,作者建议把图片上传到 Cloudflare R2 或 AWS S3,通过 boto3 对接,最终返回 JSON 中的 CDN URL。
我的判断
我认可「私有推理引擎加受控网关」的拆分。业务代码只暴露允许修改的输入,模型与节点留在服务器内部,前端或 Node 服务接入时,接口边界会清楚很多。
但原文的成本比较缺少同等条件的账单与负载数据。约 $350/月没有交代机房、带宽、备份、运维投入和可用性条件;约 2.3 秒也没有覆盖冷启动与并发排队。它能证明方案有吸引力,不能证明一般团队迁移后都更便宜。流量零散、缺少 GPU 运维能力时,托管 API 仍值得保留。
示例还存在两个直接影响上线的缺口。第一,先读 /queue 再提交任务不是原子操作,多个并发请求可能同时通过检查,因此队列上限并不严格。第二,asyncio.wait_for 超时后没有取消 ComfyUI 任务,客户端拿到 504 时,GPU 可能还在工作。
另外,独立普通用户能缩小权限范围,却不能保证第三方 custom nodes 无法读取该用户有权限访问的文件。原文让两个服务共用 comfy 用户,这不构成插件与网关之间的权限隔离。
这是一份可供验证的服务骨架,生产可靠性仍需要补齐。
作者也没有给出 WebSocket 相比轮询节省多少 CPU、降低多少延迟的对照数据。这部分是设计判断,不应包装成已经量化验证的收益。
能拿来做什么
- 如果正在为产品接入生图,先拿最重的真实工作流测试冷启动、显存占用、生成耗时和排队时间,再比较托管账单与自托管总成本。
- 如果已有 ComfyUI 工作流,先导出 API JSON,逐个核对节点 ID 和字段,并固定模型、工作流与 seed 做回归检查。原文的 cURL 示例没有传 seed,需要自行补上才能检查固定 seed 下的结果。
- 如果要接入前端或 Node,先明确产品是否允许长请求等待。等待期间展示排队状态,并区分 429 与 504,避免用户反复点击后提交重复任务。
- 如果准备开放公网服务,先补齐严格的并发准入和超时后的任务处理,再按作者建议接入对象存储,让结果图片通过 CDN URL 交付。