android-agent

🤖 让 AI 掌控你的 Android,自动化一切

通过ADB让AI直接控制Android手机,实现自动化操作、App操控和任务执行,让旧手机变身AI智能终端

收藏
7.7k
安装
1.7k
版本
1.0.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

android-agent 是一个基于 DroidRun 和 GPT-4o 视觉能力的 Android 手机自动化控制框架。用户只需将旧 Android 手机通过 USB 连接到运行 OpenClaw 的网关设备(Mac Mini、Raspberry Pi 或 PC),即可让 AI 助手直接操控手机完成各类任务。

技术架构:GPT-4o 视觉模型分析手机屏幕截图 → 决策点击/滑动/输入操作 → 通过 ADB 命令执行 → 持续循环直至任务完成。

两种部署模式:

  • Direct Mode:手机直插网关设备,零网络依赖
  • Node Mode:手机连接远程节点,网关通过网络控制,支持 WiFi ADB 或 SSH 隧道

使用流程:启用开发者选项和 USB 调试 → 安装依赖和 DroidRun Portal APK → 配置 OpenAI API 密钥 → 运行自然语言任务指令。

---

显著优点

1. 硬件复用价值高:将闲置旧手机转化为功能完整的 AI 执行终端,无需额外硬件投入
2. 自然语言驱动:用日常语言描述任务,如"叫 Uber 去机场""给妈发微信说晚点到家"

3. 真实设备执行:在真实 Android 系统上运行,可操作任何 App,不受模拟器限制

4. 覆盖场景广泛:出行、支付、社交、购物、日程管理、系统设置等均可自动化

5. 灵活网络拓扑:支持本地 USB 直连和远程 WiFi/节点模式,适应不同网络环境

6. 开源可扩展:基于 MIT 许可的 DroidRun 项目,可自定义和二次开发

---

潜在缺点与局限性

1. 依赖外部 AI 服务:核心决策依赖 GPT-4o,需要 OpenAI API 密钥,存在成本和可用性风险
2. ADB 权限门槛高:需要开启 USB 调试并安装 Portal APK,部分银行/金融类 App 会检测并拒绝运行

3. PIN 解锁兼容性差:不同设备的数字键盘坐标差异大,自动解锁功能可能失效

4. 视觉识别瓶颈:复杂 UI、动态加载内容、弹窗干扰可能导致 AI 决策失误

5. WiFi ADB 稳定性问题:网络模式在设备重启后需重新配置,且默认无加密

6. 隐私数据外流:屏幕截图持续上传至 LLM 提供商,敏感信息(银行界面、私人消息)存在泄露风险

---

适合人群

  • 智能家居极客:希望将旧手机整合进 Home Assistant 或 OpenClaw 自动化工作流
  • 自动化测试开发者:需要真实设备执行端到端 App 测试的工程师
  • 多账号运营者:需自动化管理多个社交媒体/电商账号的用户
  • 无障碍辅助需求者:肢体障碍用户通过语音指令操控手机
  • AI 实验爱好者:探索 LLM 与物理世界交互边界的开发者和研究者

---

常规风险

| 风险类别 | 具体描述 | 缓解建议 |
|---------|---------|---------|
| 数据隐私 | 屏幕内容持续发送至 OpenAI,含敏感信息 | 避免操作银行/医疗类 App;考虑本地部署多模态模型替代 |
| 设备安全 | ADB 授予 shell 级权限,恶意指令可造成数据丢失 | 仅用可信设备;生产环境隔离网络;限制 ADB 网络暴露 |
| 账号封禁 | 自动化操作可能触发 App 反作弊机制 | 控制操作频率;避免高频点击和异常行为模式 |
| 网络中间人 | WiFi ADB 明文传输,节点模式存在被窃听风险 | 优先 USB 直连;远程场景强制 SSH 隧道 |
| 误操作损失 | AI 错误点击可能导致意外下单或资金操作 | 任务设计加入确认环节;金融操作人工复核 |

android-agent 内容

examples文件夹
scripts文件夹
手动下载zip · 12.9 kB
tasks.mdtext/markdown
请选择文件