核心用法
Android Device Automation 基于 Midscene.js 框架，通过截图分析实现纯视觉驱动的 Android 设备控制。用户只需通过自然语言描述目标操作，系统即可自动识别屏幕元素并执行相应动作。
执行流程：
1. 连接设备 — 使用 connect 建立会话，支持多设备时通过 --deviceId 指定
2. 截图确认 — take_screenshot 获取当前屏幕状态，AI 分析视觉内容
3. 执行操作 — act 命令接收自然语言指令，自主完成点击、滑动、输入、导航等复杂任务
4. 断开连接 — disconnect 结束会话
5. 结果汇报 — 主动总结执行结果、关键数据及生成文件
环境要求：需配置支持视觉定位的 AI 模型（如 Gemini-3、Qwen 3.5、Doubao Seed 等），通过环境变量或 .env 文件设置 API 密钥。
显著优点
- 零侵入自动化：无需修改应用代码，不依赖无障碍服务或 DOM 结构，适用于任何技术栈的 App
- 自然语言交互：用人类语言描述操作意图，降低自动化脚本编写门槛
- 复杂任务自主规划：
act命令内置任务拆解能力，单次调用可完成多步骤流程 - 真机与模拟器兼容：通过 ADB 协议支持物理设备和 Android Emulator
- 模型选择灵活：支持多种主流多模态模型，可按成本与效果需求切换
潜在局限
- 模型依赖性强：视觉识别精度直接受限于所选模型的能力，弱模型可能导致定位失败
- 执行延迟较高：单次命令涉及截图上传、AI 推理、ADB 执行，通常需 30-60 秒
- 网络依赖：必须联网调用云端多模态模型，无法完全离线运行
- 状态无持久化：CLI 命令无状态，每次调用需重新建立上下文
- ADB 环境要求：用户需自行配置 Android SDK 及 USB 调试环境
适合人群
- 移动测试工程师：快速验证跨 App 的端到端流程，无需维护庞大测试框架
- 产品经理/运营：无需开发资源即可自动化执行竞品调研、数据抓取等重复操作
- 个人开发者：批量处理手机上繁琐的手动任务，如表单填写、信息收集
常规风险
- 隐私敏感：截图上传至第三方 AI 服务，涉及屏幕内容泄露风险，企业环境需评估数据合规性
- 误操作可能：视觉识别错误可能导致点击错误元素，建议在非生产环境或备用设备上使用
- 成本累积：高频调用多模态模型 API 可能产生显著费用，需监控用量
- 设备安全：ADB 调试模式开启会降低设备安全防护等级