Adb Claw

🤖 AI代理的Android设备全感官遥控器

AI代理的Android遥控中枢:通过ADB实现屏幕可视化、智能UI交互、深度链接导航及音视频捕获,结构化JSON输出专为自动化工作流优化。

收藏
6.5k
安装
1.4k
版本
1.5.3
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心能力

ADB Claw 是一款专为AI代理设计的Android设备控制CLI工具,将复杂的ADB操作封装为语义化命令。核心功能覆盖感知-决策-执行闭环:

感知层observe 同步返回屏幕截图(base64 PNG)与索引化UI元素树,支持元素级精准定位;monitor 突破传统uiautomator限制,通过无障碍框架实时捕获视频播放/直播场景中的动态UI文本;audio capture 利用REMOTE_SUBMIX捕获系统音频(Android 11+),输出WAV流供ASR工具处理。

执行层tap/swipe/scroll/type 实现完整触控交互,其中--index参数确保跨设备屏幕尺寸的稳定性;open命令通过深度链接绕过ADB原生CJK文本输入限制;wait命令以事件驱动替代轮询,显著降低交互延迟。

管理域:完整应用生命周期控制(安装/启动/停止/卸载/清理)、屏幕状态管理(唤醒/锁定/旋转)、文件传输及shell命令执行。

代理优化:所有命令返回统一JSON结构 {ok, command, data, error, duration_ms},含可操作建议;App Profiles预置热门应用(抖音、美团等)的深度链接与布局知识,消除试错成本。

显著优势

  • 视频场景突破:唯一能在直播/视频播放期间稳定读取UI文本的工具(monitor),解决uiautomator在SurfaceView上的冻结问题
  • CJK友好:深度链接方案彻底解决中文/日文/韩文输入限制,对亚洲市场应用自动化至关重要
  • 零持久化占用:除monitoraudio capture临时推送的~7KB DEX助手外,无后台服务或常驻组件
  • 跨平台支持:macOS(Apple Silicon/Intel)与Linux(x86_64/ARM64)预编译二进制
  • 可信透明:全开源(GitHub可查),提供SHA256校验,支持源码自构建

潜在局限

  • 系统要求:需Android 11+方可使用音频捕获;部分定制ROM可能缺失REMOTE_SUBMIX支持
  • 输入限制type命令仅支持ASCII,非英语输入必须依赖深度链接
  • 安全边界screen unlock仅支持无密码滑动解锁,复杂锁屏需人工介入
  • 设备依赖:USB调试必须保持开启,部分高安全场景(金融App)可能检测并阻止ADB会话
  • 音频副作用:捕获期间设备扬声器静音,需提前告知用户

适合人群

  • 移动测试工程师:自动化UI测试、兼容性验证、截图对比
  • AI代理开发者:为LLM赋予物理Android设备操控能力,构建端到端自动化工作流
  • 内容运营团队:批量管理多个Android设备,执行定时任务(如直播监控、数据采集)
  • 逆向安全研究员:动态分析应用行为,配合无障碍监听捕获运行时UI变化
  • 无障碍辅助开发者:基于monitor的实时文本流构建语音反馈系统

常规风险

| 风险类别 | 描述 | 缓释措施 |
|---------|------|---------|
| 设备安全 | USB调试开启状态可能被恶意利用 | 仅在受控环境使用,完成后立即关闭调试模式 |
| 隐私暴露 | 屏幕截图与音频捕获可能包含敏感信息 | 限定设备访问权限,避免连接含个人数据的设备 |
| 误操作风险 | 自动化脚本可能意外触发购买/删除等不可逆操作 | 高敏感操作前强制人工确认,沙箱环境先行验证 |
| 网络隔离 | 部分企业网络限制ADB over WiFi | 优先USB连接,或配置VPN穿透 |

ADB Claw在Android自动化工具链中占据独特生态位——它不是简单的ADB包装器,而是首个为"AI代理-物理设备"交互范式深度优化的完整解决方案。

Adb Claw 内容

手动下载zip · 8.8 kB
SKILL.mdtext/markdown
请选择文件