用固定样本做 PDF 阅读器回归测试
开发者制作可公开、结果可预测的 PDF 样本,并借助 AI 添加自动化测试,检查双页排版、从右向左阅读和搜索高亮等行为。文章也区分了模拟器上的自动化测试与真机日常验证。
AI 深度解读
改完双页排版,随手打开一本 PDF,看到页面正常,就能继续改下一处了吗?做 iPad 阅读器 MihirakiPDFViewer 时,作者发现,手边的书换来换去,上次修好的行为有没有被新改动破坏,很难复查。于是他自己制作了页序、搜索命中数和文件规模都已知的测试 PDF。
这套做法适合交给 AI 写测试,也方便人来审查。先把输入、操作和预期结果定下来,再看测试实际查到了哪一步。一次滑动通过、一次搜索计数吻合,各自能说明的事都很具体。
为什么要把 PDF 内容、识别结果和屏幕表现分开查
作者平时用自己扫描的书找问题,但这些书不适合随源码公开,其他人也就很难重复同一轮检查。他改用 Google Docs 制作样本,导出 PDF,再用脚本写入不同的阅读方向和页面布局。页面上印着醒目的编号,方便一眼看出左右页摆反了。不同样本可以保留同一份正文,只改 PDF 里的设置,比较时就少了一个变量。
这里要分三步查。第一步查文件里的 Direction 和 PageLayout,确认测试数据准备对了。第二步查应用读出的方向和布局,验证解析逻辑。第三步才看屏幕,确认首屏是哪一页、翻过去后哪页在左、哪页在右。一个叫 right-to-left.pdf 的文件,看名字只能知道制作者的意图。应用成功识别了连续布局设置,也只验证到读取设置这一步,连续浏览模式需要单独核验。
作者用两种阅读方向和六种布局设置组成 12 种组合,另备了有无独立封面的配对样本。原文给了一个四页例子。在从右到左阅读、封面独立、应用封面设置为 STANDARD 的条件下,第一屏单独显示第 1 页,第二屏左边是第 3 页、右边是第 2 页,第三屏单独显示第 4 页。图里从 1 开始数的是 PDF 页码,箭头表示画面出现的顺序。只看这几页,就能发现封面误参与配对,或者第二屏的左右页放反了。

搜索和大文件,各自需要一个能核对的结果
拿平时读的书测搜索,返回一长串结果,很容易让人觉得功能通了。可只要命中总数未知,漏几条或重复几条都很难看出来。作者分别做了日文和英文搜索样本,两份都是 30 页,并用从 PDF 提取的文字核对词语出现次数。图里的例子是 LOADTEST600,预期命中 600 次。这套检查的前提是 PDF 里有可搜索的文本。纯图片扫描件属于另一种输入,搜索表现得另行验证。
大文件测的是另一条路径。作者请 AI 生成一份大于 100 MB、超过 1,000 页的 PDF,实际检查时约 153 MB,共 1,100 页。对应的 UI 测试先核对文件大小和页数,再打开文档、连续滑动 30 次。搜索样本用来查命中是否完整,大文件则用来查打开以后还能否继续翻页。把两种任务分开,失败时也更容易知道该从哪里查起。

AI 写的测试,怎么确认它真的测到了
作者给 AI 的需求写到了具体文件和预期画面。比如遇到从右到左、封面独立的 PDF,要说明打开时显示哪一页,还要写清下一屏的左右页。单元测试负责核对识别出的设置和搜索命中数,UI 测试负责操作应用并检查操作后的状态。两类测试的问题都可以写得很直接:用哪份文件、做什么、看到什么才算通过。
反复输入搜索词并翻页的 UI 测试,后来补了一条断言,检查页码指示器确实发生变化。发出一次滑动手势,只能说明脚本执行了动作。多查一下页码,才有证据表明应用真的翻了页。要求更高时,还可以把预期页码写清楚,让断言能区分「翻动了」和「翻到了指定页」。
原文的自动化记录来自 2026 年 8 月和 9 月,环境是运行 iOS 26.5 的 iPad (A16) Simulator。连续滑动 30 次的检查通过了。作者随后尝试用滑块跳到 1,100 页 PDF 中的指定页,期间要处理双页视图索引与 PDF 页码的差异,以及显示数字里的千位分隔符。后续运行没有得到最终通过记录,退出码也不足以判定故障出在应用。搜索侧核对了命中数和页码变化,高亮位置没有做逐像素比对。大文件测试也没有记录内存数值。作者平时在实体 iPad 上的试用是另一套记录。

我的判断
最有参考价值的是那条后来补上的页码断言。程序员请 AI 写 UI 测试时,往往会把点击、输入、滑动交代得很细,却只写一句「验证功能正常」。这给测试留下太多自行发挥的空间。把预期状态写进需求,审查代码时就能直接对照,看看断言是否真的覆盖了你在乎的行为。
原文展示了具体样本、测试修订和历史运行结果,但没有提供对照数据,无法据此判断这套做法能省多少时间,或比团队原有的测试多发现多少问题。这部分是经验之谈。和拿真实文档做手工试用相比,小样本便于重复检查固定问题,真实文档更容易暴露样本设计时没想到的情况。和截图比对相比,命中数和页码断言更直接地回答搜索与导航是否按预期运行。要判断高亮框有没有盖准文字,还得检查坐标或画面。
能拿来做什么
- 给前端 PDF 预览做一份带醒目页码的四页样本,把首屏、下一屏左页和右页写成明确的预期值。改动双页配对逻辑后,用同一份文件复查。
- 如果 Node 脚本负责生成或修改测试 PDF,先核对产物里的
Direction和PageLayout,再把文件交给应用测试。搜索样本也可以先从导出的 PDF 提取文字,核对约定的命中数。 - 让 AI 写 UI 测试时,在需求里直接给出文件名、操作步骤和可观察的通过条件。审查测试时逐条对照断言,例如连续翻页后查页码,跳到指定页时查目标页。
- 在测试记录中保留文件大小、页数、运行环境和实际通过的操作。连续翻页、滑块定位、高亮对齐和内存占用可以分别记录,让后来改代码的人知道该复查哪一项。