8.0
热点
AI SCORE
编程提效2026-08-06 01:44
通过 MCP 协议让 AI Agent 完全控制真实 iOS/Android 设备
dev.to · AI#MCP#移动测试#AI Agent
Editor brief · 编辑速览
通过 Model Context Protocol 将 MCP client 连接到真实手机，实现硬件级触控输入、实时截图、UI 元素树检查、网络流量捕获、GPS 模拟和应用自动化测试脚本生成。
AI 智能体写代码、浏览网页、调用 API 越来越擅长。但有一个领域大多数智能体仍然无法触及：真机。不是模拟器，不是把截图喂给模型——而是真实的 iOS 或 Android 设备，用和真人手指一样的高保真度来操控。
本指南将展示如何通过 Model Context Protocol（MCP）赋予智能体这样的能力。完成后，你的 MCP 客户端——无论是 Claude Desktop、Cursor、Cline 还是你自己的——将能够打开真机、在上面点击和输入、查看应用运行状态、抓包和模拟网络请求、伪造 GPS，甚至探索应用并生成测试脚本。所有这些都以 MCP 工具的形式供智能体直接调用。
连接成功后，智能体拥有和人类测试人员在真机上相同的操作范围：
Control——真实的点击、按住、滑动、拖拽和输入（原生、硬件级输入，不是延迟高的屏幕共享 overlay）
See——实时截图、设备内置的 Web 检查、UI 元素树 / DOM
Inspect the network——捕获应用发出的每一个请求，模拟任意请求或响应以强制触发错误状态和边界情况
Simulate——将 GPS 位置设定到地球上的任意地点
Automate——探索应用、发现问题、生成可执行的测试脚本
设备工具由个人 API token 保护——设计上不支持匿名访问。
连接时你需要将此 token 作为 bearer token 传递。
有两条路径，选择与你的客户端匹配的那条。
将 RobotActions 添加为指向以下地址的远程 MCP 连接器：
https://mcp.robotactions.com/mcp
出现提示时，使用第一步中的 API token 进行认证（Authorization: Bearer <your-token>）。连接器会处理其余步骤。
使用连接器包将其接入 MCP 配置：
npx @robotactions/mcp init
或手动添加——端点为 https://mcp.robotactions.com/mcp，将你的 token 作为 Authorization: Bearer header。（如果你的客户端从 Smithery 或 glama 安装，RobotActions 也收录在官方 MCP 注册中心。）
重新加载客户端，你应该会看到 RobotActions 工具出现。
现在只需和你的智能体对话。试试这样：
"列出可用设备，打开一个 Android 设备，截一张图。"
智能体会调用 device-list 和 screenshot 工具，并返回来自真机的实时画面。然后：
"打开设置应用，进入 Wi-Fi，把它关掉。"
智能体在真实设备上点击和滑动——真实的触控，而非模拟 overlay。
这才是有趣的地方。因为智能体拥有完整的访问权限——视觉的和程序化的——你可以让它做到屏幕共享机器人永远做不到的事：
Inspect and mock the network:
"捕获这个应用启动时发出的网络调用，然后将 /profile 响应模拟为返回空状态，看看应用如何渲染它。"
"将设备 GPS 设定到东京，检查门店定位器是否更新。"
"走一遍结账流程，标记任何看起来有问题的地方，并生成一个能复现它的测试脚本。"
智能体能看见屏幕、读取网络和 UI 元素、驱动输入——所以"测试这个应用"从一周的准备变成了一句话的指令。
移动测试基础设施是为人类盯着远程屏幕而构建的。当智能体开始做实际工作时，它们需要以人类级别的保真度操作真机——并且以编程方式访问一切，而不仅仅是像素。将真机控制作为一等 MCP 工具暴露出来，这就是把"能看见手机的智能体"变成"真正能用手机的智能体"的关键。
你现在就可以在真实演示设备上体验以上所有功能——无需数据线、无需本地配置、无需模拟器。
使用 Google 或 GitHub 登录并免费试用 →