开源 Buddy 让编程智能体操作安卓手机
Buddy 通过安卓无障碍服务读取界面并执行操作,在本机以 MCP 暴露约 50 个工具,支持在无需 root 的 Linux 用户环境中运行多种编程智能体。项目提供敏感操作审批、工具开关和隐藏虚拟显示功能;标题提及 NPU 运行模型,但摘录未展开实现。
AI 深度解读
把 coding agent 接到手机上,难点不只是让它会点击。作者花了六周开发开源 Android 应用 Buddy,让 Claude Code、Codex 等代理操作手机,又尝试把模型搬到手机本地。文章最有价值的部分,是工具接入、Android 执行限制和上下文膨胀这些具体问题。
作者的结论也有边界:云端模型承担主要任务,手机上的小模型适合查询电量、设置计时器等单步操作。NPU 能改善响应速度,却没有让复杂操作自动变得可靠。
编程代理怎么变成手机操作员
Buddy 通过无障碍服务,把屏幕读取成元素树,再执行点击、滑动和输入。可以把它理解成一套面向手机界面的自动化接口:代理拿到页面结构,决定下一步调用哪个工具。
这些能力通过 localhost 上的 MCP 暴露,约有 50 个工具,包括 read_screen、tap、type_text,以及通知、日历、闹钟和无界面浏览器。
Claude Code、Codex、OpenCode、Google 的 Antigravity CLI 和 Grok Build 运行在应用内的 Alpine Linux 用户空间,通过 proot 工作,无需 root。用户使用自己的订阅登录或提供 API key,Buddy 没有自建服务端。但代理调用云端模型时,仍然需要联网。

作者给操作加了两层约束:发送、发布、购买和删除前,代理需要通过审批卡请求确认;Buddy 也会自行拦截这类按钮。每个工具还能全局关闭,或按聊天单独关闭。
后台模式则依赖 Wireless debugging。辅助进程以 Android 的 shell 用户运行,为每个聊天创建隐藏的虚拟显示屏,让代理操作时,用户可以继续使用手机。
本地运行最先撞上的,是执行环境和提示词
离线方案会下载 llama.cpp 官方 Android 构建,并启动兼容 OpenAI 风格接口的本地服务器。作者使用 OnePlus 12、Snapdragon 8 Gen 3 和 Gemma 4 E2B 尝试运行,认为 NPU 让响应从长时间等待变得及时,飞行模式下也能工作。
不过,原文在引出测试数字后,没有列出具体结果。这里能确认的是作者的体验描述,无法据此比较吞吐量、功耗或不同设备的表现。
部署还有两处容易踩坑。targetSdk 29+ 时,Android 不允许直接执行应用数据目录里的二进制文件,作者通过 /system/bin/linker64 启动服务器。非 Snapdragon 构建则从当前目录加载 CPU 后端;在 Pixel 上,必须从其 lib 目录启动,才能解决 no backends are loaded。
更影响代理体验的是输入长度。系统提示词加上约 50 个工具描述,让首次请求达到约 24k tokens,小模型每一步都要处理这批输入。作者加入 lite mode,只保留短提示词和约 12 个核心工具,需要时再通过 more_tools 加载其余工具,把输入降到约 4k tokens。
给代理更多工具,也可能先让它花更多时间理解工具。
另一个案例来自 Qwen3.5:llama.cpp 默认开启 thinking,简单的写标题请求也消耗了 3,000 tokens 的思考。使用 --reasoning off 后,作者称一步操作只需一两秒。这是另一组配置下的观察,不能直接当作 Gemma 4 E2B 的成绩。
上下文还可能从用户配置里混进来。一名用户在 49k 上下文模型上遇到了 254k tokens 的聊天输入,原因是其 OpenCode 配置中的 MCP 服务把工具描述带进了每次请求。
我的判断
作者最有参考价值的做法,是先缩减代理每次必须处理的信息,再讨论硬件加速。对接大量工具时,按需加载值得借鉴;但原文没有给出任务成功率对照,不能认定从约 50 个工具缩到约 12 个后,所有任务都会更快、更准。
端侧能力也要按任务判断。作者承认,小模型能处理查询电量、计时和打开应用,却会在较长任务里出错,例如按错计算器按键。审批卡能限制敏感操作,无法代替任务正确性验证。
分发同样是实际约束。Google Play 以无障碍 API 不得用于自主任务为由拒绝了应用;加入只读短信和通话记录工具后,Play Protect 又开始拦截 APK。作者将读取迁到后台辅助进程,通过 shell 用户执行 content query,让 Buddy 本身不再持有短信权限。原文没有说明调整后是否完全解除拦截,也不能把这种实现当作上架保证。
能拿来做什么
- 给日常 AI 编程代理接入 MCP 时,先检查实际发送的工具描述,尤其是个人配置自动附带的服务,再决定是否需要更大的上下文窗口。
- 在 Node 工具服务中借鉴
more_tools的按需加载思路,先暴露常用工具,并比较输入长度、响应时间和任务完成率。 - 做 Android 本地模型原型时,优先核验可执行文件启动方式、工作目录和 reasoning 配置,再排查模型性能。
- 试用 Buddy 时,可以从电量查询、计时和打开应用开始。项目采用 Apache 2.0,面向 Android 11+、64-bit 设备,通过 GitHub 和 F-Droid 分发。