AI 图片存储的权限、幂等与清理设计
文章建议将原图与衍生图存入私有对象存储,以数据库管理资产状态,使用不可变对象键,并在鉴权后签发短时链接。通过上传与数据库写入之间的重试测试,检查重复资产问题,同时为清理设置明确的保留与恢复策略。
AI 深度解读
AI 生图应用最容易低估的,往往是图片生成之后的事:原图放哪里,缩略图怎么更新,谁能访问,失败重试会不会留下两份文件,删除又该从哪里开始。
作者给出的方案是:私有对象存储保存文件,数据库决定资产状态,不覆盖已经接收的原图和派生图,鉴权通过后再签发短期链接,清理则按数据类别分别制定规则。它值得读的地方,在于把上传、发布、访问、删除串成了一套能处理故障的流程。
文件路径不能兼任资产数据库
原型阶段,一个 bucket、一个可预测的文件名,再加一个公开缩略图地址,看起来就够了。但生产环境中的一张图片还带着归属、发布状态、处理历史和保留要求,路径很难可靠表达这些信息。
作者建议用数据库记录资产 ID、租户 ID、媒体类型、尺寸、校验和、当前派生配方、删除状态,以及它拥有的对象 key。对象存储只负责保存字节,key 只是文件定位符。
文件存在,不等于资产已经发布,更不等于当前用户有权读取。
bucket 是否拆分,要看安全和保留策略是否真的不同。同一个策略边界内,很多系统用 staging/、originals/、derivatives/ 三类前缀就够了。邮箱、提示词、展示名称不要写进 key,因为路径会进入日志、存储清单和调试工具。
原图被接收后不再修改;缩略图配方变了,也写入新 key。例如从覆盖 thumb.webp,改成写入 derivatives/{asset_id}/thumb-v4/{digest}.webp,再由数据库选择当前版本。这样,缓存、读取请求和处理任务不会围着同一个文件名争抢新旧内容。
代价也明确:旧文件会暂时多占空间,还需要对账清理。如果工作流依赖 POSIX 文件语义,或者频繁原地编辑巨型文件,作者建议先在文件系统工作区处理,再导出成品。一次性单机原型用本地目录也合理,不必提前背上完整架构。
重试能否收敛,比目录是否整齐更重要
作者推荐的写入流程是:先上传到唯一的暂存 key,验证结果,再写入确定性的最终 key,最后提交数据库状态。任务重跑时,先检查持久状态,决定复用已验证文件,还是补齐缺失步骤。
最危险的窗口,是对象已经写入、数据库尚未提交。此时文件真实存在,但应用不该把它展示出来。数据库事务无法撤销对象写入,所以必须准备补偿规则:暂时保留为可恢复文件,或者交给延迟对账任务判断是否成为孤儿对象。
不要一超时就删。另一次重试可能仍在进行。
下面这段代码演示如何用内容摘要和配方版本生成稳定 key,让相同输入得到相同定位:
from dataclasses import dataclass
from hashlib import sha256
from typing import Protocol
class ObjectStore(Protocol):
def put(self, *, key: str, data: bytes, content_type: str) -> None: ...
@dataclass(frozen=True)
class ImageKeys:
original: str
thumbnail: str
def immutable_key(asset_id: str, kind: str, recipe: str, data: bytes, suffix: str) -> str:
digest = sha256(data).hexdigest()
return f"{kind}/{asset_id}/{recipe}/{digest}.{suffix}"
def store_image_pair(store: ObjectStore, asset_id: str, original: bytes, thumbnail: bytes) -> ImageKeys:
original_key = immutable_key(asset_id, "originals", "source-v1", original, "png")
thumbnail_key = immutable_key(asset_id, "derivatives", "thumb-v4", thumbnail, "webp")
store.put(key=original_key, data=original, content_type="image/png")
store.put(key=thumbnail_key, data=thumbnail, content_type="image/webp")
return ImageKeys(original=original_key, thumbnail=thumbnail_key)
要看清 digest = sha256(data).hexdigest() 这一行:相同资产、配方和字节会得到相同 key;配方或内容变化,key 也会变化。但这还不是完整的幂等协议,数据库状态转换仍需唯一性约束、校验和记录,并以提交成功作为发布条件。
另外,代码接收的是已经生成好的字节。重新调用模型可能产生不同内容,摘要 key 并不能自动消除重复生成。
作者列出的观测项也很实用:上传到记录提交的延迟、重试次数、重复最终 key、无记录对象、有记录却无对象的资产,以及生成到缩略图就绪的延迟。只看中位数,可能看不到队列积压造成的长尾。
签名链接解决临时交付,清理规则决定数据寿命
读取私有图片时,应用应先认证用户,检查租户和分享状态,再选择准确的 key 与允许的请求方法,最后生成短期签名 URL。签名接口不能接受浏览器随意提交的对象 key,否则后端可能替用户签出不属于他的文件。
签名 URL 的查询参数携带访问凭证,完整链接和签名都不应写入日志。更适合记录的是资产 ID、鉴权结果、请求关联 ID 和过期策略。
有效期也没有通用固定值,要考虑文件大小、网络情况,以及预览还是下载。作者倾向于提供需要认证的刷新接口;对敏感媒体,可以考虑认证代理,但要承担额外带宽和运维成本。
这里有个重要边界:删除数据库中的资产、撤销用户会话,与已经签发的链接是否继续有效,是需要分别验证的行为。原文明确把它列进测试矩阵,却没有给出统一撤销方案,不能把短期签名理解成即时收回权限。
删除流程则应先取消访问授权、记录删除状态,再由异步任务按策略删除派生文件和原图。这样,后台还没删完字节时,应用也已经停止签发新链接。
清理不能只靠「文件超过多少天就删除」。废弃上传、失败中间产物、可重建缩略图、原图,各自的恢复成本不同。缩略图即使能重建,也会消耗队列和计算资源;原图还涉及用户删除、保留承诺等要求。作者还建议把重新生成成本与存储成本分开统计,避免省下空间,却增加模型调用和用户等待。
生命周期规则之外,还需要有范围限制的对账任务:每次扫描一个前缀和年龄区间,对比数据库,报告数量与字节数,把不确定对象隔离待查。试运行输出应列出样例 key 和每项删除理由。不同存储实现的版本控制、存储类别行为不同,正式启用前需要用可丢弃的测试 bucket 验证。
我的判断
我认同这套方案的重点:先明确资产状态和故障后的处理方式,再决定目录布局。它对多用户、多 worker、需要受控分享的应用尤其有参考价值。
但原文没有给出生产规模、压测结果、故障恢复耗时,也没有与覆盖写入、公开 CDN 或其他方案做对照。因此,它是一套设计建议,不能据此宣称性能更好、成本更低,或者已经获得实测验证。
示例代码也刻意省略了很多工程细节:暂存验证、并发写入条件、数据库提交、失败补偿都没有实现。复制函数只能得到命名方式,无法直接得到完整的资产系统。
是否采用不可变 key,应看业务是否需要缓存稳定、历史追踪和并发处理。对一次性单机工具,本地目录足够直接;对需要严格控制访问持续时间的内容,认证代理也值得比较。架构选择应由这些具体要求推动。
能拿来做什么
- 给 Node 生图服务增加明确的资产状态,让前端只展示数据库已确认可用的图片;把图片 URL 当作临时交付结果,避免保存为永久资产标识。
- 在上传成功、数据库提交之前主动制造一次任务中断,再重跑任务,检查是否只出现一个可见资产,并确认残留文件能被对账任务识别。
- 为签名接口补齐跨租户、链接过期、请求方法变化、数据库已删除但文件仍在、会话失效后旧链接仍有效等集成测试,明确产品实际承诺的访问行为。
- 先为暂存文件和失败中间产物建立清理试运行,输出数量、字节数、样例 key 与删除理由;原图单独制定保留策略,再评估缩略图重建成本。