安卓端 Agent 长任务失效后的提示词修复
作者从一次 14 步手机操作失败出发,总结端侧 Agent 在长流程中的提示词问题。已展示的修复包括限制重规划次数、可执行时立即行动,以及为不可逆操作设置显式确认。
AI 深度解读
一个端侧 Android Agent 能顺利完成两三四步的演示,却在真实的 14 步任务中卡在第 13 步,拦住它的只是一个 Cookie 弹窗。作者由此梳理出五类故障:反复规划、误点不可逆操作、不会处理插入弹窗、系统提示词过长,以及无障碍树挤满上下文。
作者给出的方向是:限制规划次数、把风险检查放在点击之前、让异常处理进入每一步,并压缩模型收到的信息。这份经验对移动端 Agent 有参考价值,但原文没有提供修复后的成功率或对照实验,不能当成已经验证的通用方案。
计划能执行,就别一直重写
第一类故障是规划循环。Agent 每走一步都重新生成计划,看起来一直在思考,实际却没有推进任务。
作者采用两个约束:设置硬性的步骤预算,并限制重新规划次数;当前计划中的步骤只要可执行,就先执行,只有观察结果表明失败时才重新规划,不能因为想到一个「更好的计划」就推倒重来。
这里的关键是给重新规划设触发条件。
计划写得更漂亮,不等于任务离完成更近。
原文没有给出步骤预算、重规划上限的具体数值,也没有解释如何判定一次观察失败。落地时仍要补上这些定义,否则模型可能把正常的页面变化也当成失败,重新进入循环。
第二类故障更危险:小模型可能把「Delete」确认框当成普通的「Next」按钮,直接点击。
作者为 delete、send、pay、confirm 等不可逆操作设置两阶段门槛:点击前必须先输出明确的 CONFIRM 标记,并复述将删除什么、发送什么,或者产生什么后果。无法说明后果,就不允许执行。
这能把动作意图暴露出来,但原文只要求 Agent 给出标记,没说必须由用户确认,也没说明执行工具是否会校验它。因此,不能把这个提示词约定等同于完整的授权机制。
弹窗处理必须进入每一步
Cookie 横幅、权限对话框、版本更新提示,都可能在任务中途出现。只按理想路径写提示词,Agent 遇到这些界面时就只能临场猜测。
作者增加了专门的插入界面处理模块:每个步骤的边界都检查一次,当前屏幕是否出现了任务之外的内容;如果有,先按这类界面自己的规则关闭或处理,再恢复原任务。
它解决的是执行顺序问题。当前页面被权限框盖住时,继续寻找原计划里的按钮,判断依据就已经错了。
但「按自己的规则处理」仍然比较笼统。Cookie 选项该选哪个、权限是否允许、更新提示能否跳过,原文都没有展开。团队采用这一模式时,需要为具体界面写清规则,不能把所有弹窗统一处理成点击确认。
作者最有说服力的案例,就是开头那个完成了前 13 步、却被 Cookie 弹窗拦住的 14 步流程。不过,原文没有交代加入处理模块后,同一流程跑了多少次、成功了多少次。
小模型需要更短、更及时的输入
另外两类故障都与上下文有关。
作者曾写过一份约 2,000 词的系统提示词,但端侧模型忽略了其中大部分要求。修复方式是把常驻核心压到约 150 词以内,用简短、明确的指令表达,再按当前任务类型加载参考卡片。
这里说的是英文词数,不宜直接换算成中文字符上限。更有价值的原则是:常驻规则负责约束通用行为,任务细节等到相关时再提供。
输入的界面信息也要减负。作者原先每屏都传入完整的无障碍树(accessibility tree),也就是描述界面元素及其属性的结构化数据。走过三屏后,上下文已经塞满屏幕外、无法操作的节点,原始任务反而被挤了出去。
作者的处理方式是:
- 只保留可见且可操作的节点。
- 限制树的深度。
- 将屏幕外内容压成一行摘要。
上下文应该优先留给当前能采取的动作。
不过,这套裁剪方式也有边界:页面标题、错误提示等内容未必可点击,却可能决定下一步怎么做。原文没有解释如何保留这些信息,也没有给出树深度上限。
我的判断
我认同作者把注意力从「提示词写得全面」转向「执行过程是否受约束」。规划循环、弹窗打断、无关节点堆积,确实分别对应行动、恢复和输入管理的问题,靠增加一段总说明很难同时解决。
但这仍是一份经验清单。原文没有模型名称、设备配置、推理参数,也没有修复前后的对照数据。「约 150 词」适合当作作者的实践起点,不能当成所有端侧模型的统一阈值。
和全部依赖提示词相比,确定性的程序检查更适合承接步骤计数、重规划次数统计,以及不可逆操作的拦截。提示词负责让模型说明意图,执行层负责判断是否放行,两者配合更容易审查。
作者最后披露,这些经验已整理成出售的 Android AI Agent Prompt Pack,共 32 个提示词。商业背景不影响清单本身的参考价值,但原文并未展示完整提示词,也未证明购买后的效果。
能拿来做什么
- 给现有 Android Agent 增加执行日志,记录每次观察、动作和重新规划的原因,先确认任务是否真的在推进。
- 将删除、发送和支付等操作集中拦截,在执行前检查
CONFIRM及其后果描述,并明确哪些操作还需要用户授权。 - 用包含 Cookie、权限和更新提示的长流程做验证,逐步检查中断后能否恢复任务,同时记录完成率和失败位置。
- 分别精简常驻提示词与无障碍树,按任务加载参考卡片,并检查裁剪后是否仍保留了判断页面状态所需的信息。