mano-cua

🖥️ 自然语言驱动的桌面自动化助手

基于VLA模型的桌面GUI自动化工具,支持自然语言指令控制屏幕操作,提供完全本地离线推理与云端双模式。

收藏
9.9k
安装
2.9k
版本
1.0.13
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

mano-cua 是一款基于视觉-语言-动作(VLA)模型的桌面GUI自动化工具,允许用户通过自然语言描述任务,由AI代理自动执行屏幕点击、输入、滚动等操作。适用于目标应用无API或CLI可用的场景。

主要工作模式:

  • 云端模式:调用远程混合视觉模型(Mano-P轻量任务 / Claude CUA复杂推理)
  • 本地模式:完全离线的Apple Silicon on-device推理,通过MLX运行Mano-P模型,零数据外传

关键命令:

mano-cua run "任务描述"              # 云端模式
mano-cua run "任务" --local          # 本地模式(macOS M1+)
mano-cua run "任务" --app "Notes"    # 指定前置应用
mano-cua run "任务" --url "..."      # 指定前置网页
mano-cua stop                         # 终止当前任务

本地模式配置流程:

mano-cua check && mano-cua install-sdk && mano-cua install-model

显著优点

1. 隐私优先的本地推理--local 模式全程零网络调用,适合敏感操作场景
2. 自然语言交互:无需编写自动化脚本,降低使用门槛

3. 混合模型调度:自动匹配轻量/复杂任务到最优模型

4. 实时状态面板:屏幕右上角显示执行进度,可随时中断

5. 开源可审计:MIT-0许可证,源码公开,网络调用集中在单一模块

6. 安全确认机制:购买、删除、凭据输入等不可逆操作强制暂停等待用户确认

潜在缺点与局限性

| 维度 | 限制 |
|------|------|

硬件平台 | 本地模式仅限macOS Apple Silicon(M1+);Windows/Linux适配未完成 |
显示支持 | 仅主屏幕,无法使用多显示器 |

任务特性 | 单次短时任务,无后台持久化、无跨会话状态 |

系统权限 | 依赖手动授予录屏和辅助功能权限 |

交互冲突 | 运行期间禁止用户手动键鼠操作 |

数据访问 | 无法访问文件系统、剪贴板、网络API、存储的密码/凭证 |

执行范围 | 仅限可见UI元素,无法突破OS安全对话框 |

适合人群

  • 无API遗留系统用户:需自动化老旧桌面应用
  • 隐私敏感场景操作者:医疗、金融数据处理偏好完全本地推理
  • 快速原型验证者:不愿编写Selenium/Playwright脚本的临时自动化需求
  • macOS生态深度用户:Apple Silicon设备持有者优先获得完整体验

常规风险

  • 误操作风险:视觉模型可能对UI元素识别偏差,建议敏感场景启用确认机制
  • 任务中断风险:手动键鼠干扰会导致意外行为,需专注隔离使用
  • 平台不成熟风险:Windows/Linux支持不完善,生产环境建议macOS
  • 模型能力边界:复杂多步任务需拆分为显式步骤描述,模糊指令本地模式准确率下降
  • 权限疲劳:首次使用需逐项授权,可能被用户习惯性允许而忽视安全含义

架构补充

  • 设备标识:本地生成~/.myapp_device_id,无密钥外泄
  • 构建链:Homebrew公式直接对接GitHub Release,支持校验和验证
  • 网络隔离:推理请求集中于task_model.py,便于安全审计

mano-cua 内容

手动下载zip · 3.8 kB
SKILL.mdtext/markdown
请选择文件