核心用法
Android Device Automation 是一项基于 Midscene.js 的 Android 设备自动化技能，采用纯视觉驱动架构。它通过 ADB 连接 Android 设备或模拟器，利用 AI 视觉模型分析屏幕截图，识别 UI 元素并执行自然语言描述的交互操作。
工作流程
1. 连接设备：使用 npx @midscene/android@1 connect 建立会话
2. 截图分析：通过 take_screenshot 获取当前屏幕状态
3. 执行操作：使用 act 命令传递自然语言指令（如"点击搜索框输入关键词"）
4. 断开连接：任务完成后执行 disconnect
关键特性
- 零侵入自动化：无需应用源码、无需无障碍服务、无需 DOM 结构，纯截图驱动
- 跨技术栈兼容：支持原生 Android、Flutter、React Native、WebView 等任意界面技术
- 自然语言交互：用人类语言描述操作意图，AI 自动规划执行路径
- 复杂任务支持：支持点击、滑动、长按、输入、弹窗交互、多步骤流程
显著优点
1. 极低接入成本：无需修改被测应用，不依赖开发团队配合
2. 高泛化能力：视觉模型天然适配 UI 变动，维护成本低于传统脚本
3. AI 自主决策：单条 act 指令可包含多步操作，减少往返交互次数
4. 灵活的环境配置：支持 Google Gemini、阿里 Qwen、字节 Doubao、智谱 GLM 等多厂商视觉模型
潜在缺点与局限性
1. 执行效率受限：单次 AI 推理+屏幕交互约需 1 分钟，不适合高频实时场景
2. 成本因素：依赖云端多模态大模型，大规模自动化会产生显著 API 费用
3. 视觉边界 cases：复杂列表、动态加载、重叠元素、深色模式可能降低识别准确率
4. 状态同步风险：CLI 无状态设计，异常中断后需重新连接和上下文重建
5. 模型依赖性强：需配置强视觉 grounding 能力的模型（如 Gemini-3、Qwen3-VL），弱模型会导致定位失败
适合人群
- 移动测试工程师：快速搭建跨应用 UI 自动化，无需维护庞大脚本库
- 产品经理/运营：自动化执行重复性 App 操作（如数据录入、内容审核）
- 开发者：调试阶段快速验证多设备兼容性，或集成到 CI/CD 进行冒烟测试
- 自动化爱好者：探索 AI 驱动的设备控制，构建个人工作流自动化
常规风险
| 风险类型 | 说明 | 缓解建议 |
|---------|------|---------|
| **隐私泄露** | 截图可能含敏感信息（聊天记录、账户余额），上传至第三方模型 API | 使用私有部署模型，或在沙箱设备执行 |
| **误操作风险** | AI 可能误识别元素导致意外点击（如误拨电话、误发消息） | 先在非生产环境验证指令，关键操作添加二次确认 |
| **API 密钥安全** | `.env` 文件中的密钥若泄露可能导致模型账户被盗用 | 使用密钥管理服务，避免提交至版本控制 |
| **设备安全** | 需开启 USB 调试，增加攻击面 | 专用自动化设备，勿用于个人主力机 |
| **服务稳定性** | 依赖外部模型 API，存在限流、宕机风险 | 实现重试机制，准备降级方案（纯 ADB 脚本） |