AI 图片应用如何设计直传与衍生图存储
方案将原图直传私有对象存储,以数据库记录资源身份和权限,异步生成缩略图,并在鉴权后签发短期链接。清理规则按对象类别和状态制定,成本评估同时覆盖存储、请求、流量和衍生图计算。
AI 深度解读
AI 图片应用的存储设计,难点不只是把图片传进桶里,而是上传中断后怎么恢复、缩略图重试会不会重复生成、用户删除时后台任务会不会把图片重新写回来。原文给出的方案是:客户端直传私有对象存储,数据库管理资产身份与状态,后台异步生成变体,鉴权后再签发短期访问链接。
这套方案的价值,在于把上传、加工、访问和清理放进同一套流程。它没有提供性能实测,容量数字也是规划示例,但对准备接入图片生成、私有图库或图片加工功能的团队,设计细节很有参考价值。
直传省掉服务器流量,谁来确认上传成功?
作者建议使用一个私有对象命名空间,以稳定前缀区分原图和派生图片,再由关系型数据库中的资产记录管理状态与权限。存储桶负责保存文件,用户属于哪个租户、能读取哪张图片,仍由应用判断。
对象路径可以这样组织:
- 原图使用
tenant/{tenant_id}/asset/{asset_id}/original/{revision}。 - 变体使用
tenant/{tenant_id}/asset/{asset_id}/variant/{spec_hash}。
asset_id 在上传前生成;spec_hash 来自宽度、输出格式、编码策略等转换参数。用户文件名、邮箱、提示词等可变信息不要放进对象键。应用长期保存的是对象身份,而不是随时过期的访问链接。
上传分三步:客户端向应用申请权限,拿到权限范围受限的签名写入凭证;客户端直接把文件传到对象存储;上传完成后通知应用,由 worker 核验对象,再将状态从 pending_upload 改为 ready_for_derivation。
客户端说上传完成,只能作为核验的触发信号。
worker 要检查存储服务提供的文件大小、校验和元数据,并与上传会话记录比较。否则,一条提前到达或重复发送的完成通知,就可能让不存在或不完整的文件进入加工队列。
大文件适合采用分片上传(multipart upload),失败时只重传对应分片。但分片限制、完成语义因服务商而异,原文没有提供统一参数,也不应把某家服务的规则写死进共享客户端。
存储费先算什么,原图又该留多久?
原文把成本拆成四项:持续保留的字节、读写操作、分发流量、生成派生图片的计算。私有内部图库可能主要花在原图留存上,公开预览流则可能主要花在分发上,需要分别估算。
设平均原图大小为 O,保留的变体总大小为 V,每月新增资产数为 N,平均保留月数为 R,稳定状态下的容量估算是:
N × (O + V) × R
这还没算版本控制、遗弃的分片、副本、删除后保留等额外占用。
作者给出的规划示例是:每月新增 100,000 个资产,每张原图 12 MB,三个变体合计 2.1 MB。按十进制单位,一个月的新增数据占 1.41 TB,保留六个月约占 8.46 TB。
分发需要另算。假设每张 0.1 MB 的缩略图被查看 20 次,这批 100,000 个资产产生的流量是:
100,000 × 20 × 0.1 MB = 200 GB
不是 200 TB。原文专门纠正这个相差三个数量级的错误,提醒团队保留单位,并让另一位工程师复算。
更大的取舍通常是原图保留多久。活跃资产的当前图库变体、可替代的中间产物、历史变体和原图,不必拥有同样的生命周期。
但原图删除后,未来就无法从它生成新裁剪、新格式或更高分辨率的派生图。重新调用生成模型也未必能还原同一张图片,模型、参数或依赖都可能变化。
如果产品承诺未来可以准确重新加工,就要承担保留原图的成本;如果只承诺交付当前结果,可以明确恢复窗口,到期清理。作者没有给出通用期限,判断依据是产品的删除承诺和用户重新编辑的比例。AWS 与 Google Cloud Storage 的生命周期机制负责执行规则,保留政策仍要由产品定义。
重试、删除和签名链接,要共用一套状态约束
变体任务应该接收资产身份和转换规格,而不是任意来源 URL。worker 据此检查数据库状态,用服务凭证读取私有原图,生成文件,再提交结果元数据。
下面这段代码让相同转换规格始终定位到同一个目标对象,避免重试不断产生新副本:
from dataclasses import dataclass
from hashlib import sha256
import json
@dataclass(frozen=True)
class VariantSpec:
width: int
output_format: str
encoder_policy: str
def variant_key(tenant_id: str, asset_id: str, spec: VariantSpec) -> str:
canonical = json.dumps(spec.__dict__, sort_keys=True, separators=(",", ":"))
spec_hash = sha256(canonical.encode("utf-8")).hexdigest()[:20]
return f"tenant/{tenant_id}/asset/{asset_id}/variant/{spec_hash}"
要看的是 canonical 那一行:先固定字段顺序与序列化格式,再计算哈希,才能让相同规格稳定地产生相同键。
不过,固定对象键只解决一部分问题。数据库还应对「资产+规格哈希」建立唯一约束,以原子状态变更领取任务,并要求最终更新符合预期的前置状态。原文列出的状态包括 pending_upload、deriving、ready、delete_requested 和 deleted。
删除时先标记 delete_requested,停止签发新读链接,取消待执行任务或阻止它们继续提交结果,然后删除已知对象,最后标记 deleted。否则,一个执行较慢的重试任务可能在删除之后重新写入结果。
定期核对程序可以比较数据库记录与受管前缀下的对象,找出孤儿文件或缺失对象,但不能拿桶列表决定访问权限。审计日志应保留删除决策依据,不能顺手把已删除媒体另存一份。
签名 URL 同样受这套权限约束:它是持有者在有效期内可使用的访问凭证。每次签发前都要检查租户与资产权限,限制对象、操作方法和有效期,不能记录完整查询字符串,也不要把它写入长期数据库字段或事件。
缓存需要单独设计。不同签名查询参数可能分散缓存;共享缓存处理私有变体时,则要确保缓存命中也不会跨租户返回内容。敏感图片可以考虑绕过共享缓存。签名主机还要保持时钟同步,过期后由客户端重新鉴权申请链接。
我的判断
我认同作者把资产状态放在设计中心。直传、异步加工、生命周期清理单独实现都不复杂,真正容易漏的是交界处:上传通知不等于上传成功,对象写入成功也不等于允许把资产改回可用。
但这是一套架构经验,原文没有给出相对应用服务器中转上传的吞吐、延迟或成本对照,也没有证明单一命名空间适合所有团队。它要求团队同时维护上传会话、后台任务、条件更新和定期核对。对低流量原型,这些工作量需要与当前需求一起衡量。
另一个边界是「幂等」。确定性键能让重试落到同一位置,却不能单独保证删除安全;数据库状态检查、原子领取和条件提交仍然不可省。签名链接也一样:停止签发新链接,不代表此前发出的链接立即失效,原文没有展开即时撤销方案。
保留策略更不能直接照搬。原图到期删除后,就少了一条修复损坏或不兼容变体的恢复路径。作者明确承认,这套清理方式不适合要求所有历史来源永久可复现的产品。
能拿来做什么
- 给前端上传流程区分「文件已传完」和「服务端核验通过」。Node 接口负责授权与记录会话,让 worker 核验后再启动变体任务,界面据此展示真实进度。
- 给图片任务固定输入协议,用资产 ID 和包含宽度、格式、编码策略的规格描述任务;配合唯一约束与条件更新,验证重复任务和删除中任务的行为。
- 做容量预算时分别计算留存与分发,并按原图、当前变体、中间产物、遗弃上传分类。清理规则先观察候选对象、核对数据库,再对小范围前缀或批次启用,并评审配置与恢复方案。
- 联调时覆盖分片中断、重复完成通知、重复加工、加工中删除,以及删除开始后的立即读取。除请求延迟外,记录上传授权耗时、直传吞吐、核验到首张缩略图耗时、重试量、分类留存字节和删除延迟。