TuriX Computer Use

核心用法

TuriX-Mac 是一款基于计算机视觉的 macOS 桌面自动化工具，采用多模型架构实现类人化操作。用户通过自然语言描述任务目标，系统自动分解执行步骤并控制鼠标键盘完成操作。

基本运行模式：

skills/local/turix-mac/scripts/run_turix.sh "打开 Chrome 访问 github.com"

支持任务中断恢复（--resume）、复杂任务规划（use_plan: true）和领域技能手册（Skills）系统。

显著优点

1. 零 API 依赖：直接操作原生 UI，覆盖无 CLI/接口的应用场景
2. 多模态架构：Brain（规划）、Actor（执行）、Memory（上下文）、Planner（任务分解）协同工作
3. 可扩展技能系统：Markdown 格式的领域手册，支持自定义任务模板
4. 安全热键：Cmd+Shift+2 强制终止，防止失控操作
5. 完整审计日志：详细记录 LLM 推理与执行步骤

潜在局限

• 权限门槛高：需屏幕录制、辅助功能、键盘监听等多层系统授权
• 视觉依赖性强：分辨率/主题变更可能导致识别失败
• 性能开销：多模型推理带来延迟，不适合高频实时任务
• 单用户会话：暂不支持多用户并发或远程会话隔离

适合人群

• 自动化测试工程师（无 API 的 legacy 应用）
• 效率极客（重复性跨应用工作流）
• 无障碍辅助需求用户
• macOS 独占场景开发者

常规风险

| 风险类型 | 说明 | 缓解建议 |

|---------|------|---------|

| 隐私泄露 | 屏幕录制捕获敏感信息 | 在受控环境使用，定期清理日志 |

| 误操作 | AI 误判 UI 元素导致意外点击 | 避免生产环境敏感账户，设置 `max_steps` 上限 |

| 权限滥用 | 辅助功能权限被恶意利用 | 仅从可信来源安装，监控异常进程 |

| 任务中断 | 网络/权限问题导致执行失败 | 使用 `agent_id` 启用恢复机制 |

TuriX-Mac 深度评估

核心用法

TuriX-Mac 是一个Computer Use Agent（CUA），通过视觉感知能力控制 macOS 桌面，执行点击、输入、导航等 GUI 操作。其核心工作流为：用户通过自然语言描述任务 → Planner 分解步骤 → Brain 生成执行计划 → Actor 执行具体 UI 操作 → Controller 驱动系统级交互。支持 Skills 系统扩展，可通过 Markdown 手册定义特定领域任务规范。

显著优点

• 多模型协同架构：Brain-Planner-Actor-Memory 分工明确，支持复杂任务规划与上下文记忆
• Skills 扩展机制：基于 Markdown 的任务手册系统，允许自定义领域工作流（如 GitHub 操作、浏览器任务）
• 断点续传能力：通过 agent_id 实现任务中断后的状态恢复
• 零外部依赖：无第三方 API 调用，数据本地处理，隐私风险可控
• 开源透明：代码结构清晰，便于审计与定制

潜在局限与风险

| 风险类型 | 具体表现 | 缓解建议 |

|---------|---------|---------|

| 可移植性问题 | 硬编码 `/Users/tonyyan/` 等用户特定路径 | 使用前需修改为本地路径或环境变量 |

| 动态代码执行 | 使用 Python heredoc 修改 JSON 配置 | 建议替换为 `jq` 等专用工具 |

| 环境依赖 | 强依赖特定 conda 环境 `mlx_env1` | 需提前配置 Python 3.12+ 环境 |

| 权限要求 | 需要屏幕录制、辅助功能、键盘监听等系统权限 | 首次使用需在系统设置中逐项授权 |

| T3 来源 | 个人开发者/社区项目，无企业背书 | 建议隔离环境测试后再生产使用 |

适合人群

• 自动化测试工程师：需要模拟真实用户操作进行 E2E 测试
• 效率工具爱好者：希望自动化重复性桌面任务（如批量整理文件、定时打开应用）
• 无障碍需求用户：通过自然语言指令替代复杂的手动 GUI 操作
• 开发者/研究者：探索 CUA（Computer Use Agent）架构与多模态 LLM 应用

常规风险提示

1. 操作不可逆性：Agent 可执行文件删除、数据修改等操作，建议开启前备份重要数据
2. 权限攻击面：屏幕录制和辅助功能权限理论上可被滥用于监控，需确保来源可信
3. 日志敏感信息：执行日志可能包含窗口标题、输入内容等，注意日志文件存储安全
4. 网络隔离建议：虽无外部 API，但浏览器操作可能访问任意网址，建议配合 DNS 过滤使用