核心用法
ClawPhone Phone Control 是一套面向 Android 设备的自动化控制框架,通过 Model Context Protocol (MCP) 实现手机界面的感知与操作闭环。核心能力围绕三条主线展开:
感知层:get_screen_info 快速获取前台应用、分辨率及可见文字;capture_screen 提供像素级定位;find_node 与 click_by_text 则通过无障碍服务解析控件树,优先以语义化方式定位元素。
操作层:launch_app 启动应用后必须经 get_current_app 验证前台切换;文本输入采用「直接输入→剪贴板→长按粘贴」三级兜底;坐标点击严格限定为「当前设备-当前页面-当前截图」的一次性临时决策,禁止固化。
验证层:脆弱流程(如微信发送)执行「一步一验」——每次操作后通过截图或状态读取确认界面真实变化,而非依赖工具返回值。
显著优点
- 防御性设计突出:坐标点击的时效性约束、输入的三级兜底、启动后的前台校验,显著降低自动化漂移风险
- 复杂场景覆盖:针对微信自定义弹窗、键盘动态布局等无障碍树缺失场景,提供截图+临时坐标的降级方案
- 失败排查结构化:7 步定位法(页面正确性→控件命中→输入聚焦→文本生效→按钮可见→界面变化→路径切换)缩短调试周期
潜在缺点与局限性
- 平台绑定:依赖 Android 无障碍服务,iOS 及部分定制 ROM 兼容性存疑
- 性能开销:高频截图与 OCR/控件树解析在低端设备上可能引入 300-800ms 延迟
- 微信等场景的脆弱性:即使一步一验,仍可能因消息防刷、网络波动导致偶发失败,无法保证 100% 成功率
- 坐标策略的学习成本:要求开发者放弃「录制回放」直觉,建立「截图即失效」的动态思维
适合人群
- 自动化测试工程师:需构建稳健的移动端到端测试流水线
- RPA 开发者:处理客服、数据录入等高频重复手机操作
- 逆向与安全研究人员:需自动化遍历 App 界面进行行为分析
- 无障碍技术开发者:基于语义化控件操作构建辅助工具
常规风险
- 无障碍服务滥用:需申请
BIND_ACCESSIBILITY_SERVICE权限,存在被系统或应用商店判定为「自动化点击工具」的合规风险 - 隐私泄露:屏幕截图与控件树解析可能捕获敏感信息,需在本地完成处理或加密传输
- 应用对抗:微信、支付宝等 App 持续加强反自动化检测,存在账号限流或功能封禁的隐性风险
- 坐标漂移导致的误触:若开发者违背「当前截图」原则固化坐标,可能在不同分辨率或页面状态下触发错误操作