mano-cua

🖱️ 自然语言驱动桌面自动化

通过VLA模型实现桌面GUI自动化,支持自然语言指令操控屏幕,无需API即可与任意应用交互,云/本地双模式保障隐私。

收藏
12.8k
安装
2.9k
版本
1.0.8
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

mano-cua 是一款基于视觉语言模型(VLA)的桌面GUI自动化工具,允许用户通过自然语言描述任务,由AI代理自动操控鼠标、键盘完成屏幕交互。适用于无API或CLI的传统桌面应用自动化场景。

运行模式

| 模式 | 特点 | 适用场景 |
|:---|:---|:---|
| **Cloud(默认)** | 云端Mano-P/Claude CUA模型推理,零配置即用 | 日常任务,追求便捷 |
| **Local(`--local`)** | Apple Silicon设备本地MLX推理,零数据出境 | 隐私敏感任务 |

基础命令结构

mano-cua run "任务描述" [选项]
  --url <URL>      # 先打开网页再执行
  --app <App名>    # 先启动应用再执行
  --local          # 本地模式(M1+ Mac)
  --max-steps <n>  # 限制步数(默认30)
  --minimize       # 最小化状态面板

关键使用技巧

  • 本地模式需显式步骤:建议写 "点击搜索框→输入关键词→点击搜索按钮" 而非模糊指令
  • 单任务独占:同一设备同时仅运行一个任务,新任务前需 mano-cua stop
  • 禁用键鼠:执行期间勿手动操作,避免冲突

---

显著优点

1. 零API侵入:突破传统RPA限制,无需应用开放接口即可自动化任意GUI
2. 双模隐私架构:云端便捷 vs 本地绝对隐私(Apple Silicon专属),用户自主可控

3. 智能模型路由:系统自动选择Mano-P(轻量快速)或Claude CUA(复杂推理)

4. 安全交互设计:敏感操作强制确认、实时状态面板、随时可中断

5. 开源可审计:MIT-0许可证,Homebrew从GitHub Release直接构建,供应链透明

---

潜在局限

| 局限 | 说明 |
|:---|:---|
| **平台成熟度** | macOS为主力平台,Windows/Linux适配未完成 |
| **显示限制** | 仅支持主显示器,多屏用户需切换 |
| **本地模式硬件门槛** | 需Apple Silicon(M1及以上),x86 Mac不支持 |
| **任务粒度依赖** | 本地模式对指令精确度要求高,模糊描述易失败 |
| **网络依赖** | 云端模式需稳定HTTPS连接,企业内网需评估 |

---

适合人群

  • 自动化爱好者:希望自动化无API的老旧/专业软件
  • 隐私敏感用户:需要本地执行敏感操作(如财务、医疗系统)
  • 效率工作者:重复性表单填写、数据录入、跨应用信息搬运
  • 开发者/QA:快速构建UI测试原型,验证交互流程

---

常规风险评估

| 风险类别 | 等级 | 说明 |
|:---|:---|:---|
| **数据外泄** | ⚠️ 中 | 云端模式传输屏幕截图;本地模式完全零上传 |
| **误操作** | ⚠️ 中 | GUI自动化固有风险,建议配合`--max-steps`和实时监控 |
| **供应链安全** | ✅ 低 | 开源+Homebrew官方渠道+可验证checksum |
| **权限滥用** | ✅ 低 | 无需管理员/root,无需API密钥,最小权限原则 |
| **平台兼容性** | ⚠️ 中高 | 非macOS用户暂不建议生产环境使用 |

mano-cua 内容

手动下载zip · 3.5 kB
SKILL.mdtext/markdown
请选择文件