MacOS Desktop Control (Mouse, Keyboard, Screenshots)

核心用法

macOS Control Skill 是一个专为 macOS（Darwin）设计的高保真自动化桥接工具，使 AI Agent 能够感知桌面状态并执行精确的鼠标和键盘交互。

主要功能组件：

• see 工具：调用 vision_wrapper.sh 使用原生 screencapture -x 捕获屏幕，输出 PNG 至 /tmp/claw_view.png，用于 UI 元素识别、窗口定位和应用状态分析
• click 工具：通过 cliclick_wrapper.sh 执行 /opt/homebrew/bin/cliclick，支持：
• 鼠标点击：c:x,y（左键）、右键操作
• 鼠标移动：m:x,y
• 键盘输入：t:text（键入文本）
• 等待延迟：w:毫秒

典型应用场景：自动化测试、RPA（机器人流程自动化）、无障碍辅助操作、批量 GUI 任务处理。

显著优点

1. 原生集成：基于 macOS 系统级工具 screencapture 和开源 cliclick，无需复杂驱动
2. 低延迟：直接调用编译型二进制，响应速度优于 AppleScript/JavaScript 方案
3. 灵活语法：支持 cliclick 完整指令集，可组合复杂操作序列
4. 静默运行：截图使用 -x 静默模式，无视觉干扰

潜在局限与风险

| 维度 | 说明 |

|------|------|

| **权限依赖** | 需授予「辅助功能」「屏幕录制」等系统权限，首次配置需人工确认 |

| **分辨率敏感** | 坐标基于绝对像素，Retina/多显示器环境下需换算或校准 |

| **Homebrew 依赖** | 强制依赖外部包管理器，企业锁机环境可能受限 |

| **无元素定位** | 仅支持坐标级操作，不具备 Accessibility API 的元素级语义识别（如「点击名为'保存'的按钮」） |

| **并发风险** | 无内置队列机制，高频调用可能导致事件丢失或顺序错乱 |

适合人群

• 开发者/QA 工程师：构建 macOS 端自动化测试流水线
• 高级用户：创建个人工作流自动化（配合 Shortcuts/Alfred）
• AI Agent 研究者：需要物理环境交互的桌面智能体实验

常规风险

• 权限提升攻击面：辅助功能权限是 macOS 的高危权限，恶意调用可能导致凭证窃取或系统操控
• 屏幕隐私泄露：截图功能可捕获敏感信息，需确保 /tmp/claw_view.png 的访问控制
• 误操作风险：坐标错误可能导致非预期点击，建议操作前 always 执行 see 确认目标位置
• 供应链风险：cliclick 为第三方开源工具，需校验 Homebrew 源的完整性

核心用法

macOS Control Skill 是为 macOS 环境设计的纯Markdown自动化技能。它将屏幕感知与动作执行解耦为两个核心工具：see 命令调用系统原生 screencapture 生成全屏截图，为AI代理（Agent）提供视觉上下文；click 命令通过 cliclick 二进制工具执行鼠标移动、点击及键盘模拟等输入操作。二者协同，使Agent能够像人类一样“观察”屏幕元素（按钮、菜单、文本框）并做出相应交互，实现跨应用的桌面流程自动化。

该技能极度精简，核心代码仅两个Shell包装脚本，总行数不足70行，无外部网络请求，所有行为在本地闭环。它依托系统原生能力和Homebrew安装的 cliclick 工具，为开发者或高级用户提供了一套轻量、可审计的AI操作手柄。

显著优点

1. 代码极简透明：总计66行代码，几乎无依赖，功能声明与行为完全一致。任何人都能快速通读代码，审计安全风险。
2. 无网络外泄风险：截屏固定保存在本地临时目录（/tmp/claw_view.png），且技能本身无任何对外网络请求，数据完全留在用户设备内，隐私保护设计扎实。
3. 系统级原生集成：直接调用macOS内置的截屏工具，响应迅速，无需安装庞大的第三方库或复杂的视觉模型，保持了系统原生的流畅度。
4. 高通用性：cliclick 支持标准的输入语法，使其理论能操控任何有界面的macOS应用，从设计软件、浏览器到开发工具，为自动化提供了极广的覆盖范围。

潜在缺点或局限性

1. 环境强依赖：完全依赖 cliclick 的可用性和macOS系统的特定API，非同系统环境（如Windows/Linux）无法使用；且 cliclick 需通过Homebrew额外安装。
2. 无语义理解：本技能仅提供“看”和“点”的底层能力，不包含任何图像识别、OCR（光学字符识别）或UI元素的逻辑分析。Agent必须自行具备理解截图内容并换算坐标的能力，否则可能误点、空点。
3. 错误脆弱性：鼠标位置以绝对坐标（x, y）定位，无法自适应窗口移动、分辨率改变或UI布局细微调整。一旦目标偏移，点击将失效，缺乏弹性图形化校验。
4. 功能天花板低：仅支持基础的按键、点击和等待，不支持拖拽路径规划、多点触控、缩放等高级手势，复杂交互需多次原子命令组合，效率可能打折。

适合的目标群体

• AI Agent 开发者：需要一个轻量、可控的macOS交互层，嵌入到自定义Agent工作流中，负责最后的执行环节。
• 桌面自动化极客：希望用AI取代自己重复性桌面操作（如数据录入、批量文件处理）的macOS重度用户。
• RPA流程验证者：在macOS原型机器人流程自动化（RPA）概念时，用作快速验证是否可行的低成本方案。

使用该技能可能存在的常规风险

1. 屏幕敏感信息泄露风险：全屏截图会捕获桌面上所有可见信息，包括聊天消息、密码提示、金融数据等。/tmp 目录通常全局可读，若未及时清理，可能被同一设备上其他进程读取，构成隐私泄露。
2. 输入劫持与误操作风险：一旦Agent获得控件权，任何误判坐标或错误指令都可能产生不可逆操作，如误删文件、发送错误消息、在支付页面误点确认。缺乏沙箱机制和危险指令确认机制。
3. 命令注入风险：虽然 cliclick 语法安全，但当前包装脚本直接传递用户参数至Shell命令，若上游Agent传参包含特殊字符且未经校验，理论上可能被利用执行追加的Shell指令。
4. 可用性中断风险：作为T2来源的社区技能，若未来 cliclick 更新不兼容或仓库维护停滞，该技能可能立即失效，缺乏成熟的保障与更新承诺。