核心用法
AutoGLM Phone Agent Skill 基于智谱 AI 开源的 AutoGLM Phone Agent SDK,允许用户通过自然语言指令远程操控 Android 设备或模拟器。用户无需编写复杂的自动化脚本,只需描述目标操作(如"打开 Play Store 搜索 Signal 并分享链接"),系统即可自动分解为 UI 交互步骤执行。
核心能力包括:应用启动、点击、滑动、文本输入、截图、UI 文本读取等。典型应用场景涵盖:端到端 APP 自动化测试、用户行为数据采集、UI 回归验证、竞品分析等。
显著优点
- 自然语言驱动:降低自动化门槛,非技术人员也能快速上手
- 端到端验证:真实操作设备,结果可信度高
- 开源生态:基于智谱开源 SDK,社区活跃,持续迭代
- 灵活集成:通过环境变量暴露服务端点,易于接入现有工作流
潜在缺点与局限性
- 设备依赖:需物理设备或模拟器,且必须开启开发者模式与 USB 调试
- 权限繁琐:需手动授予悬浮窗、无障碍服务等多项系统权限
- 分辨率敏感:坐标点击可能因设备分辨率差异而偏移,需校准
- 生物识别受限:无法绕过指纹/人脸等硬件级安全验证
- 网络不确定性:依赖 App 版本和区域网络,稳定性不及 API 调用
适合人群
- 移动测试工程师(自动化 UI 测试)
- 产品经理/运营(快速验证用户流程、竞品调研)
- 数据采集团队(非结构化 UI 数据抓取)
- 开发者(调试跨设备兼容性)
常规风险
- 真实操作风险:指令直接作用于设备,误操作可能导致数据丢失或账户异常
- 权限暴露:无障碍服务权限可能被恶意利用,建议仅在隔离测试环境使用
- 隐私合规:截屏和 UI 文本读取涉及敏感信息,需确保符合 GDPR、《个人信息保护法》等法规
- 服务可用性:需自建后端服务,维护成本较高,生产环境需监控端点健康状态