苹果 Depth Pro 2 从单目画面估算距离
Depth Pro 2 用同一套网络为照片、视频和实时画面生成原分辨率的逐像素深度图,输出以米为单位。模型着重改善视频深度的帧间稳定性,并提供四种规格。
AI 深度解读
一张普通照片能估出物体离镜头几米,视频里的距离读数还能在相邻帧之间保持稳定。Apple 的 Depth Pro 2 把这两件事交给同一个模型,在输入的完整分辨率上,为照片、视频或实时相机画面的每个像素估计以米为单位的深度。
做单摄像头原型时,你可以用它回答「这个物体离镜头大约多远」,也可以用自己的素材测试深度图的边缘和稳定性。原文给出了四档权重、两种视频模式和一个 Mac 演示,但没有提供足以判断测距误差和运行成本的数据,许可也限定了用途。
一张照片里的距离是怎么估出来的
Depth Pro 2 于 2026 年 11 月 19 日随论文《Depth Pro 2: Sharp and Temporally Consistent Metric Monocular Depth》公布,编号为 arXiv 2611.26603。照片只记录了物体在画面中的样子,模型要从尺寸、透视、遮挡和纹理推断距离。同样大小的图像区域,可能对应近处的小物体,也可能对应远处的大物体,具体还得看周围线索。
Depth Pro 2 用多视图 Transformer 搭配 DPT 解码器,照片和视频共用一套网络。最终输出是一张深度图,像素值表示模型估计的米数。相机焦距未知时,四个版本共用一个 2350 万参数、94 MB 的焦距估计器。焦距会影响物体在画面里显得有多大,也就会影响模型对透视和距离的判断。
视频为什么要分缓冲和流式两种模式
逐帧独立估计深度时,同一个静止物体的距离读数也可能前后跳动。多视图网络可以利用帧之间的信息。对录制好的视频,缓冲模式每次处理 16 帧,相邻片段重叠 4 帧,用共享帧平滑片段交界处的深度变化。对实时相机画面,流式模式按帧到达的顺序处理,无需等下一帧。
Apple 声称模型在 Boundary F1 和 Jitter 两项指标上优于此前工作。前者看深度图能不能把前景和背景的边界分清,后者看视频里的深度读数会不会抖动。两项指标分别回答「轮廓清不清楚」和「读数稳不稳」,物体距离估得准不准还要单独测。
在 Mac 上试跑,选哪个版本
四档权重分别是 S(2400 万参数,97 MB)、B(9700 万参数,386 MB)、L(3.34 亿参数,1.3 GB)和 H+(8.72 亿参数,3.5 GB)。H+ 是默认版本,原文称其质量最好。机器资源紧张时,可以先从 S 或 B 跑通流程。
原文列出的运行路径有 NVIDIA GPU 上的 CUDA(bfloat16)、Apple silicon GPU 上的 MPS,以及 CPU 上的 float32。代码仓库 apple-aiml-research/ml-depth-pro-2 提供 Mac 实时深度演示,Hugging Face 上的 apple/DepthPro2 提供权重,也有 Core ML 导出。按原文说明,Apple Machine Learning Research Model 许可仅允许研究用途,商业产品要另选授权合适的方案。
我的判断
照片和视频共用一套模型,对同时做图片和相机输入的研究原型有实际价值。相比逐帧独立推理,跨帧处理能利用相邻画面来抑制抖动。至于缓冲和流式的效果差多少、各档权重在 Mac 上能跑多少帧,原文没有给出对照数据。用这两种模式分别处理录制视频和直播,是有依据的选型思路,实际延迟和效果还得用自己的素材量。
如果最终要在界面上显示「2.3 米」这样的读数,我会优先验证绝对误差。轮廓清楚、读数稳定的深度图,也可能把整段距离持续估偏。可以用尺量出几个已知距离,看看偏差会不会随拍摄距离、镜头或画面构图变化。
能拿来做什么
- 做前端深度图原型时,先用 Mac 演示生成结果,在页面上并排显示原图和深度图,再加一个悬停读数,用已知距离的物体检查读数偏差。
- 选一段同时包含静止物体和移动边缘的录像,分别跑缓冲和流式模式。对照静止区域的读数波动、片段交界处的变化和实际处理耗时。
- 有商用计划时,先按许可筛掉不适合的模型,再用同一批素材比较候选方案的测距误差和运行成本。