浏览器端抠图从 43.8 秒降到 6.4 秒
项目通过 ONNX Runtime Web 在浏览器内运行 IS-Net,测试配置在桌面端用 WebGPU、在手机端用 WebAssembly,图片全程留在设备上。首访需下载约 100 MB 的模型和运行时,作者还发现模型 CDN 缺少 Cache-Control 响应头。
AI 深度解读
Remove de Fundo 把 AI 抠图放进了浏览器。照片留在设备上,用户无需注册就能下载原分辨率的结果。第一版在真机上慢到有人等不及离开。作者优化后,用同一台笔记本和同一张照片实测,从点击到出图由 43.8 秒缩短到 6.4 秒,接近 7 倍。
这次最有参考价值的是分段计时。模型重复下载、CPU 线程配置、PNG 编码和 WebGPU 首次编译,原本都混在一个加载动画里。拆开来看,才发现推理加速以后,浏览器反而没空编码图片。
约 100 MB 的模型资源,回访时还要再下吗?
站点用 Astro 生成静态页面,部署在 Cloudflare Workers 上,服务端只提供静态文件。抠图由 @imgly/background-removal 的 IS-Net fp16 模型完成,模型约 88 MB,加上 ONNX Runtime Web,首次访问要下载约 100 MB。桌面端走 WebGPU,手机端在这个项目里走 WebAssembly,用 CPU 推理。最后再用 canvas 清理遮罩里残留的半透明薄雾。
原来的 CDN 没有返回 Cache-Control,边缘响应标记也是 cf-cache-status: DYNAMIC。作者观察到,依赖浏览器的启发式缓存时,回访用户经常要重新下载。于是他们在构建时把模型分片存进 public/ai/<version>/,再通过 publicPath 告诉库去哪里取文件。
下面这段配置给模型分片设置一年的缓存期限。
/ai/*
Cache-Control: public, max-age=31536000, immutable
第二行的 immutable 依赖内容哈希文件名。分片内容一变,文件名也会变,仍在有效期内的磁盘缓存可以直接命中。还有个部署细节,开发服务器和托管环境都把无扩展名的分片路径当成页面,结果返回 404。作者把分片改成 <hash>.bin,并同步改写 resources.json 里的文件名。
CPU 推理快了,为什么出图还是慢?
最初 crossOriginIsolated 是 false,8 核机器上的 WASM 推理只用了一个核。ONNX Runtime Web 的多线程需要 SharedArrayBuffer。作者加上 Cross-Origin-Opener-Policy: same-origin 和 Cross-Origin-Embedder-Policy: credentialless,让支持的浏览器进入跨源隔离状态。选择 credentialless 是为了让项目里的 Google Fonts 和分析脚本能继续加载,即使它们没有提供 CORP 响应头。模型已加载时,CPU 单张推理从 22.7 秒降到了 7.9 秒。
但整条链路几乎没变快。作者给各阶段打上时间戳,发现卡在 canvas.convertToBlob()。库按 navigator.hardwareConcurrency 用满可用的 CPU 线程,ONNX 的 worker 在推理结束后仍然忙等,浏览器给 PNG 编码分配不到足够的 CPU 时间。原文把这一节称为「PNG 编码慢了 13 倍」,提到测过空闲页面编码 1200 × 800 PNG 的耗时,但没有列出那组对照数值。
下面是作者在库加载前限制线程数的做法。
function limitOnnxThreads(device: 'gpu' | 'cpu') {
const cores = navigator.hardwareConcurrency || 4;
const threads = device === 'gpu' ? 1 : Math.max(1, Math.min(4, Math.ceil(cores / 2)));
Object.defineProperty(navigator, 'hardwareConcurrency', {
configurable: true,
get: () => threads,
});
}
注意 const threads 这一行,GPU 路径只留 1 个 WASM 线程,CPU 路径取逻辑核心数的一半并向上取整,最少 1 个、最多 4 个。调整后,作者测得后处理耗时从约 10 秒回落到 0.2 秒。
用户选照片的时候,浏览器可以先做什么?
WebGPU 路径里,每次加载页面后,第一张图要等约 17 秒,第二张只需 2 秒。作者把差距归因于会话创建和着色器编译,其中编译主要发生在第一次推理。
他们把这部分工作提前到用户表现出上传意图时。桌面端悬停上传区、移动端点按上传区后,页面以低优先级预取模型文件,并调用 preload()。这里的配置要和正式抠图一致,因为库用 JSON.stringify(config) 作为会话缓存键。GPU 路径还会拿一张 32×32 的小图跑一次推理。模型输入尺寸固定,这次试跑就能提前编译正式处理需要的着色器。CPU 路径跳过试跑,避免真实照片排在预热后面。检测到 saveData 或 2G 时则跳过预取。
等待体验也有实际改动。730 px 高的笔记本屏幕原先首屏看不到上传区,作者压缩了首屏主视觉区。处理中展示用户自己的照片和扫描线,手机端把「把照片拖到这里」改成「选择照片」。接入统计后,约 98% 的抠图操作成功,上传照片的用户中超过一半下载了结果。原文没有给出这些体验改动前的同口径数据。
我的判断
最能复用的是计时方法。43.8 秒到 6.4 秒来自线上实测,但原文只给出同一台笔记本、同一张照片的端到端对比,没交代这组数字对应冷缓存还是热缓存。手机端能快多少、各项优化分别贡献多少,文章没有给足数据。扫描线让等待感觉更短,也属于作者的经验判断。
换轻量模型确实能省首次下载。作者试过 44 MB 的 isnet_quint8,但在人像上留下了成片背景,只能说明这次试用的画质达不到项目要求。线程上限的收益也有实测支撑,不过覆盖 navigator.hardwareConcurrency 会影响同一页面里其他读取该属性的代码。如果所用版本能直接设置 ONNX 的线程数,优先考虑那个入口,影响范围更小。
能拿来做什么
- 给浏览器里的图片处理流程分段计时,分别记录模型下载、会话初始化、推理、遮罩处理和编码,再比较首次加载和同页第二次处理。
- 自托管模型前,确认构建产物、
resources.json和线上文件名对得上,再用浏览器网络面板核实回访是否真的命中磁盘缓存。 - 给 WebGPU 加预热时,让
preload()和正式运行共用同一份配置。移动端等用户点按才预取,并保留saveData和 2G 的跳过条件。 - 评估交付时,先核对 IMG.LY 的
background-removal-js所用的 AGPL-3.0,以及 ONNX Runtime Web 的许可证,再决定如何集成和分发。