用 WebCodecs 在浏览器内按目标体积压视频
SizeClip 在本地重编码视频,将输出控制在指定体积以内。作者在桌面 Chromium 上将一段 30 秒的合成视频压到 10 MB 以下,WebCodecs 硬件编码耗时 2.9 秒,单线程 ffmpeg.wasm 耗时 68.2 秒。
AI 深度解读
SizeClip 要解决的是录屏发不出去的问题:一段 100 MB 的 .mov,怎么在浏览器里压到 GitHub issue 的 10 MB、Discord 的 20 MB 或邮件附件的 25 MB 上限以内?作者用 WebCodecs 在本地重新编码,视频不用上传。
在作者的桌面测试里,同一素材用 WebCodecs 压缩只花了约 3 秒,单线程 ffmpeg.wasm 则花了 68.2 秒。对前端开发者来说,另一处可借鉴的设计是怎么控制文件大小:先按时长分配码率,封装后再检查实际字节数,超限就重试。
WebCodecs 为什么适合走主流程
作者在桌面 Chromium 上用一段 30 秒、30.6 MB 的合成 1080p 视频做对比,目标是 10 MB。三种跑完的方案都输出了 720p。WebCodecs 硬件编码用时 2.9 秒,输出 9.67 MB;软件编码用时 3.2 秒,输出 9.10 MB;单线程 ffmpeg.wasm 用时 68.2 秒,输出 9.17 MB。多线程版跑了超过 8 分钟仍未完成,作者取消了任务,原文没交代卡住的原因。
硬件编码只比这次的软件编码快 0.3 秒。作者测到的约 20 倍差距,主要来自两种 WebCodecs 路径和单线程 ffmpeg.wasm 的对比。作者还在一台运行 Chrome 的 Galaxy 手机上测试了真实录屏:一段 28 秒、1080×1920 的 HEVC 视频从 44.22 MB 压到 9.26 MB,用了 13.5 秒,目标同样是 10 MB。
SizeClip 优先走 WebCodecs 硬件编码,用 Mediabunny 拆开输入文件的音视频轨道,再把处理后的轨道封装成输出文件。硬件编码中途失败就退到软件编码。浏览器缺少 WebCodecs,或无法解码输入素材时,再用单线程 ffmpeg.wasm。后备路径首次要从 CDN 下载约 31 MB,处理上限为 1 GB。WebCodecs 本身无需跨源隔离,多线程 ffmpeg.wasm 的 SharedArrayBuffer 构建则需要 COOP 和 COEP 响应头。
为什么设了目标码率,封装后还要量一次
SizeClip 用单遍编码。码率可以理解为每秒视频分到的位数,但把目标大小除以时长,只能算出理论平均值。画面变化大的片段可能让实际码率偏高,音轨和 MP4 容器也要占空间。
作者先按十进制 MB 算出预算,即 targetMB × 1,000,000 × 0.95,再为 MP4 容器预留 64 KB,并扣除约 3% 的封装开销。音频按总预算选 128、96、64 或 32 kbps,同时限制在源音频码率的约 1.1 倍以内。源音轨只有 48 kbps 时,没必要给它分配 128 kbps。
剩余预算用来选分辨率。视频码率 ≥ 2.5 Mbps 选 1080p,1.2–2.5 Mbps 选 720p,0.6–1.2 Mbps 选 480p,< 0.6 Mbps 选 360p。分辨率按短边判断,最高到原片尺寸。高帧率素材低于 0.06 bit/像素/帧时,60 fps 降到 30 fps,50 fps 降到 25 fps,把更多位数留给每一帧。用户可以在 More options 里覆盖分辨率和帧率。
视频码率还有一道上限,约为源视频码率的 85%,避免给一段 50 MB 的视频填入 100 MB 目标后,反而把文件做大。MP4 封装完仍然超限,就按超出比例下调码率再编码,最多总共跑 3 遍,重试沿用首遍帧率。作者在桌面 Chromium 上用一段 40 秒、51.6 MB 的合成 1080p 视频验证过两档目标:20 MB 档用 8.7 秒得到 18.7 MB 的 1080p 视频,8 MB 档用 3.9 秒得到 7.44 MB 的 720p 视频。
我的判断
我认同用封装后的字节数判断能否交付。附件有硬上限时,留出余量比把文件凑到 10.00 MB 更实用。原文证明了几段样片能压到上限以内,但没交代三遍之后还超限怎么处理,也没有给出不同素材的达标率。0.06 和 85% 可以当作经验起点。
约 20 倍是这次桌面样片的耗时差。对比统一了输出分辨率,文件大小却各有差异,作者也没给画质评分或等画质测试。作者认为极低码率下,硬件 H.264 比桌面 ffmpeg 用 libx264 慢速两遍编码更容易显得模糊。这是经验判断。日常提交录屏时可以优先考虑等待时间,若压完还要看清小字号代码,就得把文字可读性也放进验收条件。
兼容性证据来自桌面 Chrome 和一台 Android 手机,Safari 和 iOS 缺少真机验证。输出还会缓存在浏览器内存里,界面在目标超过 300 MB 时会提示。仓库暂时私有,原文提到可以用 DevTools 的 Network 面板检查视频数据是否外发,但没有提供检查记录。
能拿来做什么
- 做浏览器端录屏压缩时,用真实录屏验证主流程和回退流程,尤其要覆盖输入能否解码、编码中途失败后能否继续,以及第一次下载后备组件要等多久。
- 如果业务卡附件大小,把最终 MP4 的字节数放进验收条件。重试时固定首遍帧率,并为达到重试上限后仍超限的情况提供明确的结果提示。
- 给前端问题反馈工具做压缩时,用含小字号代码和快速滚动的录屏试低码率档,在目标手机上同时检查文字可读性、耗时和内存表现。