45组浏览器超分测试揭示评测陷阱
作者以15张动漫及插画的三档压缩输入,测试浏览器ONNX Runtime Web中的通用Real-ESRGAN,发现输出可用但会弱化细线和网点。测试还暴露尺寸取整导致像素错位、透明图像处理异常等评测问题,强调PSNR与SSIM不能单独代表视觉质量。
AI 深度解读
通用超分辨率模型能不能放大动漫图?ClearPix 用 15 张素材、45 次浏览器端运行给出的答案是:可以交付,但必须讲清楚损失。普通插画和壁纸尚可,淡线、网点和细小配饰却可能被抹软,不能承诺保真。
这次测试更有价值的地方,是他们先修正了评测方法和透明通道处理,再讨论是否更换模型。对做浏览器图像工具的程序员来说,这比一张惊艳的效果图更有参考意义。
45 次测试之前,先确认尺子没有量错
ClearPix 当前使用 realesr-general-x4v3,通过生产环境的 ONNX Runtime Web 管线完成推理。测试选了 15 张现代动漫和插画素材,每张生成干净、JPEG70、JPEG40 三种输入,共 45 次运行。
修正评测后,全图平均 PSNR 为 23.581 dB,SSIM 为 0.867。PSNR 衡量像素误差,SSIM 更关注结构相似程度。它们适合追踪版本回归,却不能单独回答「这张图看起来好不好」。
作者最初得到过 NaN,以及透明素材转成 JPEG 后异常低的 PSNR。问题出在评测流程的两处。
一处是尺寸。部分原图宽高不能被 4 整除,缩小时取整,再放大 4 倍,结果会比参考图多出一两个像素。像素位置没对齐,比较结果自然不可靠。现在生成测试输入前,会先把参考图的尺寸调整为 4 的倍数。
另一处是透明背景。JPEG 输入已经铺成白底,透明参考图却仍保留不可见像素里的 RGB 值。直接比较这两组 RGB,测到的可能是背景编码差异。
修正后,PSNR、SSIM 和高频指标都在白底合成图上计算,Alpha 则单独评估。Alpha 的参照是输入透明通道的 4× 重采样结果,而不是强行与原始透明文件比较。24 个源图含非完全不透明像素的案例,最终都得到 alpha MAE 0。
这个零误差有明确边界:它说明透明通道符合既定重采样参照,不能拿来证明整张图无损。
透明 PNG 变白底,换动漫模型也救不了
作者发现,共用的放大器会给每个输出像素写入 alpha 255,也就是全部设成不透明。无论选择哪种超分辨率模型,透明动漫 PNG 都会因此丢失透明效果。
他们的修复是按输出尺寸重建源图 Alpha,并将完全透明像素的 RGB 归零。这条处理路径同时覆盖整图推理和分块推理,避免大图切块后走出另一套行为。
模型选择解决不了文件处理链路里的错误。
这对前端图像工具尤其实际。用户看到的结果来自解码、缩放、推理、透明通道重建等环节,不能把所有缺陷都归给模型。此次修复还涉及共享管线,所以已有的 15 案例通用放大测试集,以及复用它的媒体工具,仍需通过回归检查。原文没有说这些检查已经全部完成。
通用模型够不够用,要看用户想保住什么
在作者的检查中,平涂色块、清晰轮廓、普通角色插画和中等复杂度壁纸,在三种输入条件下仍然可用。自由手绘线稿保持连贯,彩色漫画肖像保住了头发高光和构图,机甲壁纸的主体与背景也仍能辨认,只是存在预期中的柔化。
但有五类素材被明确标记了问题:
- 网点的规则点阵变软、发生变化,不能宣称点阵得到保留。
- 淡线稿里的浅色线条和小细节减弱。
- 带相机的精细角色图中,配饰、头发和相机细节比大轮廓更容易糊。
- 群像壁纸中的面孔和细小服装细节变软。
- 铅笔稿的纸张与笔触纹理被增强,未必符合用户希望更柔和的目标。
JPEG 输入有时反而能拿到更好看的指标,因为压缩可能提前去掉部分高频噪声。数字更好,纹理却可能已经改变,所以作者仍以固定裁剪区域作为最终检查依据。
这里还有一个证据边界:视觉检查是 AI 辅助检查固定裁剪图,不是经过负责人认可的人工 QA。作者在结果文件中记录了这一区别。
Real-ESRGAN 已有动漫专用模型,但 ClearPix 暂时不加第二个。新增模型会带来额外下载、推理会话生命周期管理、量化检查和浏览器内存预算。当前通用模型已经达到「披露边界后可用」的门槛,首个动漫工具页因此继续复用同一条管线。
若以后引入专用模型,作者要求在相同输入、裁剪、锐化条件下比较,同时考察运行时间和下载大小。一张壁纸赢了,不足以支持切换。
我的判断
我认同他们先修评测、再修共享管线、最后讨论模型的顺序。对浏览器产品而言,输出格式是否正确、内存是否承受得住,都会直接影响工具能否交付。
但「足够可用」仍是他们的产品判断。15 张素材能暴露问题,却不足以代表全部动漫风格;平均指标也会掩盖少数重要细节的退化。加上视觉检查由 AI 辅助完成,证据还不足以支撑收藏、归档或出版级保真承诺。
通用模型和动漫专用模型之间,原文没有给出对照数据。因此,暂缓增加模型可以理解为控制工程成本,不能据此推断通用模型效果更好。原文也没有提供具体运行时间、下载大小或内存占用,性能取舍目前仍是工程经验判断。
他们公开方法、真实裁剪、指标、审核状态、逐案例署名信息,并让 JSON、CSV 下载使用同一份数据,这一点值得借鉴。证据能被复查,比给模型贴一个「动漫专用」标签更有说服力。
能拿来做什么
- 做浏览器图片放大功能时,先检查尺寸对齐、白底合成和 Alpha 处理,再定位模型质量问题;透明 PNG 应同时覆盖整图和分块推理路径。
- 建立回归集时,可以保留干净、JPEG70、JPEG40 三种输入,并固定细节裁剪区域,让指标变化有对应的视觉证据。
- 准备增加第二个模型时,把下载大小、会话管理、运行时间和浏览器内存一起纳入比较,要求候选模型在同一批输入和相同锐化条件下证明收益。
- 编写工具页说明时,明确推荐普通动漫壁纸、插画和头像,同时写清网点、淡线和微小细节的保留边界,并区分 AI 辅助检查与人工验收。