mano-cua

🖥️ AI驱动的桌面自动化助手

基于VLA模型的桌面GUI自动化工具,通过视觉理解自然语言指令完成屏幕交互任务,支持云端与本地两种推理模式。

收藏
8.6k
安装
2.9k
版本
1.0.11
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

mano-cua 是一款桌面GUI自动化工具,利用视觉-语言-行动(VLA)模型将自然语言指令转化为屏幕操作。用户通过命令行描述任务(如"打开备忘录并创建新笔记"),工具自动截图、分析画面、执行点击/输入/滚动等操作。

两种运行模式:

  • 云端模式(默认):调用远程Mano-P或Claude CUA模型,无需配置,适合快速使用
  • 本地模式(`--local`):基于Apple Silicon的MLX框架在设备端运行,零数据外传,隐私性更强

关键参数:

  • --app 启动指定应用(如 Notes、Safari)
  • --url 在浏览器打开指定网页
  • --max-steps 限制最大执行步数
  • --minimize 最小化状态面板

显著优点

1. 无API场景填补:专为没有开放API/CLI的桌面应用设计,GUI是唯一接口的场景
2. 双模型智能调度:轻量任务用Mano-P快速响应,复杂推理自动切换Claude CUA

3. 本地隐私模式:Apple Silicon设备可完全离线运行,截图不出本机

4. 实时可视化监控:屏幕右上角状态面板展示每一步操作,用户可随时中断

5. 权限前置控制:需用户手动授予录屏和辅助功能权限,敏感操作二次确认

潜在缺点与局限性

  • 平台成熟度不均:macOS为首选平台,Windows/Linux适配未完成,稳定性存疑
  • 单任务串行:同一设备无法并行执行多个任务
  • 主屏限制:仅支持单显示器,多屏用户受限
  • 操作独占性:运行时需避免人工键鼠干扰
  • 本地模式精度依赖:本地模型对模糊指令容错率低,需编写显式步骤描述

适合人群

  • 需自动化无API桌面应用(如特定企业软件、旧版工具)的开发者与运维人员
  • 注重数据隐私、倾向本地推理的Apple Silicon用户
  • 需要快速原型验证GUI自动化流程的产品团队

常规风险

| 风险类型 | 说明 | 缓解措施 |
|---------|------|---------|
| 屏幕数据外传 | 云端模式每步上传截图 | HTTPS加密传输;本地模式可选;敏感信息勿入画面 |
| 误操作风险 | 视觉模型可能误判界面元素 | 敏感操作二次确认;`--max-steps`限制步数;实时面板可中断 |
| 供应链风险 | 通过Homebrew安装外部二进制 | 源码MIT-0开源;发布包带校验和;网络模块集中可审计 |
| 权限滥用 | 需辅助功能/录屏权限 | 系统级权限管控;无后台常驻;无持久连接 |

mano-cua 内容

手动下载zip · 4.2 kB
SKILL.mdtext/markdown
请选择文件