网页端 AI 图像修补的原理与调优
文章区分服务端推理与通过 WebGPU 或 ONNX Runtime Web 在本机推理的两种方案。模型根据掩膜周围的纹理、边缘和光照生成填充,输入尺寸和掩膜设置会影响模糊与纹理重复等问题。
AI 深度解读
在网页里刷掉路灯,AI 可以补一段路面,却可能把灯影留在原地。作者用这类例子解释了图像修补(inpainting)的工作方式:模型根据你圈出的区域和周围像素,生成一块看起来接得上的背景。
文章的结论是,先把原图、选区和验收做好,再考虑换工具。对要处理网站配图的前端开发者,以及要做在线图片编辑器的全栈开发者,这套流程都能直接用来定位问题:哪里是漏刷,哪里是背景信息不够,哪里是导出尺寸拖了后腿。
网页里点下「擦除」后,模型做了什么
常见流程分四步。工具先准备输入,为了控制内存占用、争取在几秒内处理完,许多工具会把图片长边缩到约 1K~2K 像素。接着,画笔把用户涂抹的范围转成遮罩(mask)。二值遮罩标记哪些像素要换,软遮罩还能表达边缘的过渡程度。模型利用附近的纹理、线条和光照预测填充内容,最后把补出的像素合成回图里。按这套流程,遮罩以外的内容应保持原样。
所以,同样是擦掉一个人,地砖露得够多,模型就有机会沿着已有砖缝补下去。如果人挡住了独特壁画的关键部分,模型只能猜那块墙怎样填比较自然。原画要画得对,得有同一场景的另一张照片可供取样。
网页只是操作入口。服务端推理需要上传图片,可以用更大的模型,不同设备上的处理表现也更一致,选型时要看图片留存政策。设备端推理可以用 WebGPU、WASM 或 ONNX Runtime Web,像素可留在本机,模型加载完成后操作可能很快。手机受设备能力限制,工具可能把输入缩得更小,或回退到较小的模型。作者举的 ClearRemover 也是上传、涂抹、检查、下载这套操作流程。
保留背景,遮罩盖住物体和痕迹
优先用原文件。社交平台下载图和截图可能在边缘带有压缩振铃,影响选区判断和填充。已经放大或增强过的图也可能带着人造纹理,模型会顺手把它们延续下去。24 MP 原图可以作为输入,400 px 缩略图里的细节则很难补得干净。碰上砖墙、木地板这类有规律的背景,先留足画面里的参照,再决定最终裁多大。
画遮罩时,盖住整个物体,再留一点余量。作者给的是 5~10 像素,目的是吃掉残边。发丝、电线和自行车辐条尤其容易漏刷。影子、玻璃里的倒影、人物手里拿的东西,也要看是否该一起去掉。余量画得太大,又会把模型接窗框、地砖缝或招牌字形所需的像素擦掉。工具如果提供人物或文字模式,可以分别用来处理人物及其附带痕迹、日期戳和字幕,具体效果还得看输出。
分轮修改,放到 100% 再验收
先处理最大或最碍眼的目标,每轮做完看一眼。远处的招牌和近处的垃圾桶可以分开处理。第一轮留下了一小块糊纹,或路沿只差一截没接上,就用更小的笔刷补那一块。一口气圈住杂乱场景,前面生成的偏差可能又成了后续填充的参照。
缩略图里看着顺眼,放到 100% 才能看出路沿错位、纹理成片重复、局部发蜡、遮罩边缘偏色,或者还有一小截鞋尖。能用前后对比滑块就来回切几次。还要打开下载文件看实际尺寸。原文提到,许多网页工具编辑时会把长边缩到约 2048 px,部分免费导出还会更小。一张看着干净的 1024 px 成品,放进大幅首屏横幅或拿去印刷,仍可能显得软。
我的判断
这篇最有说服力的是把遮罩和结果联系起来。灯影还在,先查遮罩有没有漏掉影子。窗框糊了,先看选区是否吃掉了太多直线。每个问题都有能动手验证的原因。至于换工具和改输入哪个收益更大,作者没有给出同图、同遮罩的对照结果,也没有报告不同设备的耗时。5~10 像素和分轮修补都可以当作经验。尤其是这段余量,原文没说按原图尺寸还是缩放后的工作图计算,接入自己的编辑器时要先弄清画笔坐标对应哪张图。
替代方法也要看构图。杂物贴着边缘,裁切通常省事,还能保住原来的线条。杂物在画面中间,保留构图才更有理由用修补。要交付的是原有壁画或标识的准确内容,有同场景照片就优先取样补回,因为单图生成只能给出一个看起来合理的版本。
能拿来做什么
- 给网页编辑器做画笔时,确认画布显示尺寸和模型输入尺寸的坐标映射,用一张带细线和投影的图检查遮罩是否覆盖完整。
- 做 AI 修图预览时,提供 100% 查看和前后切换,并在下载入口显示成品像素尺寸,方便用户当场判断能否用于首屏横幅。
- 清理站点配图时,从原文件开始,先处理最抢眼的目标。边缘杂物先试裁切,中间目标再用遮罩,并在交付前检查下载文件里的接缝和残影。