核心用法
mano-cua 是一款基于视觉-语言-动作(VLA)模型的桌面GUI自动化工具,允许用户通过自然语言描述任务,由AI代理自动执行屏幕点击、输入、滚动等操作。适用于目标应用无API或CLI可用的场景。
主要工作模式:
- 云端模式:调用远程混合视觉模型(Mano-P轻量任务 / Claude CUA复杂推理)
- 本地模式:完全离线的Apple Silicon on-device推理,通过MLX运行Mano-P模型,零数据外传
关键命令:
mano-cua run "任务描述" # 云端模式 mano-cua run "任务" --local # 本地模式(macOS M1+) mano-cua run "任务" --app "Notes" # 指定前置应用 mano-cua run "任务" --url "..." # 指定前置网页 mano-cua stop # 终止当前任务
本地模式配置流程:
mano-cua check && mano-cua install-sdk && mano-cua install-model
显著优点
1. 隐私优先的本地推理:--local 模式全程零网络调用,适合敏感操作场景
2. 自然语言交互:无需编写自动化脚本,降低使用门槛
3. 混合模型调度:自动匹配轻量/复杂任务到最优模型
4. 实时状态面板:屏幕右上角显示执行进度,可随时中断
5. 开源可审计:MIT-0许可证,源码公开,网络调用集中在单一模块
6. 安全确认机制:购买、删除、凭据输入等不可逆操作强制暂停等待用户确认
潜在缺点与局限性
| 维度 | 限制 |
|------|------|
硬件平台 | 本地模式仅限macOS Apple Silicon(M1+);Windows/Linux适配未完成 |
显示支持 | 仅主屏幕,无法使用多显示器 |
任务特性 | 单次短时任务,无后台持久化、无跨会话状态 |
系统权限 | 依赖手动授予录屏和辅助功能权限 |
交互冲突 | 运行期间禁止用户手动键鼠操作 |
数据访问 | 无法访问文件系统、剪贴板、网络API、存储的密码/凭证 |
执行范围 | 仅限可见UI元素,无法突破OS安全对话框 |
适合人群
- 无API遗留系统用户:需自动化老旧桌面应用
- 隐私敏感场景操作者:医疗、金融数据处理偏好完全本地推理
- 快速原型验证者:不愿编写Selenium/Playwright脚本的临时自动化需求
- macOS生态深度用户:Apple Silicon设备持有者优先获得完整体验
常规风险
- 误操作风险:视觉模型可能对UI元素识别偏差,建议敏感场景启用确认机制
- 任务中断风险:手动键鼠干扰会导致意外行为,需专注隔离使用
- 平台不成熟风险:Windows/Linux支持不完善,生产环境建议macOS
- 模型能力边界:复杂多步任务需拆分为显式步骤描述,模糊指令本地模式准确率下降
- 权限疲劳:首次使用需逐项授权,可能被用户习惯性允许而忽视安全含义
架构补充
- 设备标识:本地生成
~/.myapp_device_id,无密钥外泄 - 构建链:Homebrew公式直接对接GitHub Release,支持校验和验证
- 网络隔离:推理请求集中于
task_model.py,便于安全审计