核心用法
mano-cua 是一款面向无API原生应用的桌面自动化代理,通过视觉-语言动作模型(VLA)将自然语言指令转化为精确的鼠标/键盘操作。核心交互形式为单行命令:mano-cua run "任务描述",支持通过 --app 或 --url 预启动目标应用,通过 --max-steps 限制执行步数,通过 --minimize 精简状态面板。
双模推理架构
- 本地模式(`--local`):基于 MLX 框架在 Apple Silicon 上运行 Mano-P 模型,零网络传输,适合敏感场景
- 云端模式:自动调度 Mano-P 轻量任务与 Claude 复杂推理,仅当前屏幕截图经 HTTPS 临时上传
典型工作流
# 本地隐私模式 mano-cua run "点击搜索框,输入 OpenAI,点击搜索,打开第一条结果" --local --url "https://google.com" # 云端快速任务 mano-cua run "在日历中创建周五20:00的会议" --app "Calendar"
显著优点
1. 隐私优先设计:本地模式实现端侧完全推理,敏感操作前强制人工确认,无后台监控或持久连接
2. 无侵入集成:纯视觉感知,不依赖应用内嵌 API、无障碍服务或系统级钩子,兼容任意 GUI 应用
3. 安全边界清晰:显式声明无法访问文件系统、凭证管理器、多显示器、系统设置,降低权限滥用风险
4. 透明可审计:MIT-0 开源协议,Homebrew 构建可校验,网络调用集中于单一模块便于审查
5. 资源轻量化:本地模型针对 Apple Silicon 优化,云端模式按需调用,无常驻后台进程
潜在缺点与局限性
| 维度 | 限制描述 |
|------|----------|
| **平台成熟度** | macOS 为主测平台,Windows/Linux 适配未完成,生产环境存在兼容性风险 |
| **显示约束** | 仅支持主显示器,多屏用户需手动归集窗口 |
| **会话隔离** | 单次调用即单会话,无法跨调用持久状态或执行后台长任务 |
| **交互冲突** | 运行期间禁止用户键鼠操作,否则导致行为异常 |
| **推理依赖** | 本地模式对提示词质量敏感,复杂任务需显式分步描述,学习成本较高 |
| **网络依赖** | 云端模式需实时上传截图,弱网环境延迟显著 |
适合人群
- 自动化测试工程师:快速验证无 API 遗留系统的端到端流程
- 隐私敏感用户:需在本地完成银行、医疗等场景操作的 Apple Silicon 用户
- 效率工具爱好者:希望用自然语言替代重复性 GUI 操作的普通用户
- 中小团队:缺乏 RPA 平台预算,寻求轻量开源替代方案的技术团队
常规风险
1. 操作不可逆风险:删除、购买等敏感动作虽有确认弹窗,但误触确认仍可能导致损失
2. 视觉误判风险:界面元素遮挡、动态加载、非标准控件可能导致点击坐标偏差
3. 会话抢占风险:单设备仅支持单任务,并发调用需手动 mano-cua stop 切换
4. 云模式数据泄露:截图上传虽为临时且限定主屏,但企业敏感界面仍可能暴露
5. 平台支持风险:Windows/Linux 未完全适配,跨平台部署存在维护成本