核心用法
TuriX-Mac 是一个 Computer Use Agent (CUA) Skill,让 Clawdbot 能够像人类一样"看"屏幕并操作 macOS 桌面。它通过多模型架构(Brain 规划、Actor 执行、Planner 分解任务、Memory 保持上下文)实现视觉自动化。
典型场景:
- 打开应用并执行多步骤操作(如"打开 Spotify 播放我喜欢的歌曲")
- 导航无 CLI/API 的图形界面应用
- 复杂视觉工作流(如"在邮件中找到最新发票并上传到企业门户")
启动方式:
skills/local/turix-mac/scripts/run_turix.sh "打开 Chrome 访问 github.com"
支持断点续传(--resume)、后台运行(--background),以及通过 Skills 系统加载领域专属操作手册。
---
显著优点
1. 真正的视觉自动化:不依赖应用提供 API,通过屏幕截图和 UI 元素识别操作任何 macOS 应用
2. 多模型智能协作:Brain 理解任务→Planner 分解步骤→Actor 精确执行→Memory 保持上下文,支持复杂推理和自主规划
3. Skills 可扩展系统:可通过 Markdown 文件自定义领域 playbook(如 GitHub 操作、浏览器任务),提升特定场景可靠性
4. 中文 UTF-8 支持:使用 Python 安全处理中文输入,避免 shell 转码问题
5. 安全合规:通过 CLS-Certify A 级认证,无危险函数、无动态代码下载、无硬编码密钥
---
潜在缺点与局限性
| 问题 | 说明 |
|------|------|
| **启动延迟** | 首次加载 AI 模型需 2-5 分钟,不适合需要即时响应的场景 |
| **运行速度** | GUI 操作天生较慢,文档创建等任务建议先用 Python 生成再让 TuriX 发送 |
| **输出缓冲** | 后台运行时无法实时查看进度,需通过日志文件监控 |
| **权限依赖** | 需要屏幕录制、辅助功能等系统权限,首次使用需手动授权 |
| **路径敏感** | 必须正确设置 `PATH="/usr/sbin:$PATH"` 以找到 `screencapture` 工具 |
| **步骤限制** | 默认最多 100 步,超复杂任务可能中断 |
---
适合人群
- macOS 用户:需要自动化桌面操作但目标应用无 API
- 工作流自动化者:跨多个 GUI 应用执行重复性任务
- 非技术用户友好场景:Clawdbot 可替用户描述任务,TuriX 负责执行
- 开发者:愿意配置 Conda 环境、处理权限设置的技术用户
不适合:需要毫秒级响应、纯后台静默运行、或对隐私极度敏感不愿授予屏幕录制权限的场景。
---
常规风险
| 风险 | 等级 | 说明 |
|------|------|------|
| 屏幕录制权限 | 中 | 必须授予 Terminal/IDE 屏幕录制权限,这是功能必需但涉及隐私 |
| 辅助功能权限 | 中 | 需要 Accessibility 权限以控制键盘和鼠标 |
| 误操作风险 | 中 | 自动点击可能误触,建议先用非关键任务测试;紧急停止快捷键 `Cmd+Shift+2` |
| 环境变量读取 | 低 | 脚本读取 CONFIG_FILE、TASK_ARG 等自定义环境变量,用途合理 |
| 外部命令执行 | 低 | 仅调用本地已安装的 Conda 和 TuriX,无远程代码 |
缓解措施:
- 始终在受控环境中首次测试新任务
- 使用
max_steps限制步骤数 - 敏感操作(如删除文件)添加显式确认
- 定期检查
~/.turix_tmp/logging.log审计执行记录