TuriX Computer Use

🖥️ 用 AI 眼睛操控你的 Mac 桌面

TuriX-Mac 允许 Clawdbot 通过视觉方式控制 macOS 桌面,自动化执行应用操作、UI 导航等无 CLI/API 的任务。来源可信(GitHub 组织 TurixAI),适合复杂多步骤视觉工作流。

收藏
12.9k
安装
5.6k
版本
1.0.8
CLS 安全性认证2026-05-06
点击查看完整报告 >

使用说明

核心用法

TuriX-Mac 是一个 Computer Use Agent (CUA) Skill,让 Clawdbot 能够像人类一样"看"屏幕并操作 macOS 桌面。它通过多模型架构(Brain 规划、Actor 执行、Planner 分解任务、Memory 保持上下文)实现视觉自动化。

典型场景

  • 打开应用并执行多步骤操作(如"打开 Spotify 播放我喜欢的歌曲")
  • 导航无 CLI/API 的图形界面应用
  • 复杂视觉工作流(如"在邮件中找到最新发票并上传到企业门户")

启动方式

skills/local/turix-mac/scripts/run_turix.sh "打开 Chrome 访问 github.com"

支持断点续传(--resume)、后台运行(--background),以及通过 Skills 系统加载领域专属操作手册。

---

显著优点

1. 真正的视觉自动化:不依赖应用提供 API,通过屏幕截图和 UI 元素识别操作任何 macOS 应用
2. 多模型智能协作:Brain 理解任务→Planner 分解步骤→Actor 精确执行→Memory 保持上下文,支持复杂推理和自主规划

3. Skills 可扩展系统:可通过 Markdown 文件自定义领域 playbook(如 GitHub 操作、浏览器任务),提升特定场景可靠性

4. 中文 UTF-8 支持:使用 Python 安全处理中文输入,避免 shell 转码问题

5. 安全合规:通过 CLS-Certify A 级认证,无危险函数、无动态代码下载、无硬编码密钥

---

潜在缺点与局限性

| 问题 | 说明 |
|------|------|
| **启动延迟** | 首次加载 AI 模型需 2-5 分钟,不适合需要即时响应的场景 |
| **运行速度** | GUI 操作天生较慢,文档创建等任务建议先用 Python 生成再让 TuriX 发送 |
| **输出缓冲** | 后台运行时无法实时查看进度,需通过日志文件监控 |
| **权限依赖** | 需要屏幕录制、辅助功能等系统权限,首次使用需手动授权 |
| **路径敏感** | 必须正确设置 `PATH="/usr/sbin:$PATH"` 以找到 `screencapture` 工具 |
| **步骤限制** | 默认最多 100 步,超复杂任务可能中断 |

---

适合人群

  • macOS 用户:需要自动化桌面操作但目标应用无 API
  • 工作流自动化者:跨多个 GUI 应用执行重复性任务
  • 非技术用户友好场景:Clawdbot 可替用户描述任务,TuriX 负责执行
  • 开发者:愿意配置 Conda 环境、处理权限设置的技术用户

不适合:需要毫秒级响应、纯后台静默运行、或对隐私极度敏感不愿授予屏幕录制权限的场景。

---

常规风险

| 风险 | 等级 | 说明 |
|------|------|------|
| 屏幕录制权限 | 中 | 必须授予 Terminal/IDE 屏幕录制权限,这是功能必需但涉及隐私 |
| 辅助功能权限 | 中 | 需要 Accessibility 权限以控制键盘和鼠标 |
| 误操作风险 | 中 | 自动点击可能误触,建议先用非关键任务测试;紧急停止快捷键 `Cmd+Shift+2` |
| 环境变量读取 | 低 | 脚本读取 CONFIG_FILE、TASK_ARG 等自定义环境变量,用途合理 |
| 外部命令执行 | 低 | 仅调用本地已安装的 Conda 和 TuriX,无远程代码 |

缓解措施

  • 始终在受控环境中首次测试新任务
  • 使用 max_steps 限制步骤数
  • 敏感操作(如删除文件)添加显式确认
  • 定期检查 ~/.turix_tmp/logging.log 审计执行记录

安全解读

核心用法

TuriX-Mac 是一个基于多模型架构的 macOS 计算机使用智能体(CUA),允许 Clawdbot 通过视觉理解控制桌面环境。用户通过自然语言描述任务,系统自动拆解为可执行的 UI 操作步骤。

启动方式

./run_turix.sh "打开 Safari,访问 github.com,搜索 TuriX 项目"

支持断点续传(--resume)、后台运行(--background),以及通过 Skills 系统扩展特定领域能力(如 GitHub 网页操作)。

显著优点

1. 多模型智能协作:Brain(规划推理)、Actor(精准执行)、Planner(任务分解)、Memory(上下文保持)四层架构,复杂任务自主完成
2. 零 API 侵入:纯视觉驱动,无需应用开放接口即可操控任何 GUI 软件

3. Skills 可扩展:Markdown 格式的领域指南,社区可自定义浏览器任务、邮件处理等工作流

4. UTF-8 原生支持:Python 内嵌处理中文等非 ASCII 字符,避免 Shell 注入风险

潜在缺点与局限

  • 冷启动慢:首次加载 AI 模型需 2-5 分钟,不适合高频短时任务
  • 资源消耗高:多模型并行运行,内存占用显著
  • 确定性不足:视觉识别存在误差,复杂界面可能误点击
  • 权限门槛:必须授予屏幕录制和辅助功能权限,企业环境可能受限
  • 调试成本高:后台缓冲输出,实时进度不可见,需依赖日志追踪

适合人群

  • 需要跨应用自动化工作流的知识工作者(如财务对账、信息汇总)
  • 无编程背景但需定制 macOS 自动化的用户
  • 测试工程师进行 UI 兼容性验证
  • 不适合:追求毫秒级响应的实时场景、对隐私极度敏感的环境

常规风险

| 风险类型 | 说明 | 缓解建议 |
|---------|------|---------|
| 权限滥用 | 屏幕录制可捕获全部桌面内容 | 仅在受信任设备运行,检查日志访问权限 |
| 误操作风险 | AI 可能错误点击导致数据变更 | 关键操作前添加人工确认步骤,设置 `--max_steps` 限制 |
| 信息泄露 | 日志可能包含屏幕内容摘要 | 定期清理 `.turix_tmp/` 目录,避免共享设备保留日志 |
| 供应链风险 | 依赖外部 TuriX CUA 程序 | 锁定版本,监控上游更新 |

安全认证结论

CLS-Certify 六维评估得分 78/100,等级 A。无恶意代码、无数据外泄、无危险函数调用。主要注意事项:合理管理屏幕录制权限,首次使用时明确告知用户权限需求。

TuriX Computer Use 内容

scripts文件夹
手动下载zip · 9.1 kB
run_turix.shtext/x-shellscript
请选择文件