ClawPhone Phone Control

📱 稳健驱动手机自动化的 MCP 方案

基于 MCP 协议的手机界面感知与自动化控制方案,支持屏幕读取、App 启动、控件操作及输入兜底,适配微信等复杂场景的稳健自动化。

收藏
2.3k
安装
974
版本
1.0.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

ClawPhone Phone Control 是一套面向 Android 设备的自动化控制框架,通过 Model Context Protocol (MCP) 实现手机界面的感知与操作闭环。核心能力围绕三条主线展开:

感知层get_screen_info 快速获取前台应用、分辨率及可见文字;capture_screen 提供像素级定位;find_nodeclick_by_text 则通过无障碍服务解析控件树,优先以语义化方式定位元素。

操作层launch_app 启动应用后必须经 get_current_app 验证前台切换;文本输入采用「直接输入→剪贴板→长按粘贴」三级兜底;坐标点击严格限定为「当前设备-当前页面-当前截图」的一次性临时决策,禁止固化。

验证层:脆弱流程(如微信发送)执行「一步一验」——每次操作后通过截图或状态读取确认界面真实变化,而非依赖工具返回值。

显著优点

  • 防御性设计突出:坐标点击的时效性约束、输入的三级兜底、启动后的前台校验,显著降低自动化漂移风险
  • 复杂场景覆盖:针对微信自定义弹窗、键盘动态布局等无障碍树缺失场景,提供截图+临时坐标的降级方案
  • 失败排查结构化:7 步定位法(页面正确性→控件命中→输入聚焦→文本生效→按钮可见→界面变化→路径切换)缩短调试周期

潜在缺点与局限性

  • 平台绑定:依赖 Android 无障碍服务,iOS 及部分定制 ROM 兼容性存疑
  • 性能开销:高频截图与 OCR/控件树解析在低端设备上可能引入 300-800ms 延迟
  • 微信等场景的脆弱性:即使一步一验,仍可能因消息防刷、网络波动导致偶发失败,无法保证 100% 成功率
  • 坐标策略的学习成本:要求开发者放弃「录制回放」直觉,建立「截图即失效」的动态思维

适合人群

  • 自动化测试工程师:需构建稳健的移动端到端测试流水线
  • RPA 开发者:处理客服、数据录入等高频重复手机操作
  • 逆向与安全研究人员:需自动化遍历 App 界面进行行为分析
  • 无障碍技术开发者:基于语义化控件操作构建辅助工具

常规风险

  • 无障碍服务滥用:需申请 BIND_ACCESSIBILITY_SERVICE 权限,存在被系统或应用商店判定为「自动化点击工具」的合规风险
  • 隐私泄露:屏幕截图与控件树解析可能捕获敏感信息,需在本地完成处理或加密传输
  • 应用对抗:微信、支付宝等 App 持续加强反自动化检测,存在账号限流或功能封禁的隐性风险
  • 坐标漂移导致的误触:若开发者违背「当前截图」原则固化坐标,可能在不同分辨率或页面状态下触发错误操作

ClawPhone Phone Control 内容

手动下载zip · 4.6 kB
skill-card.mdtext/markdown
请选择文件