mac-use

核心功能

Mac Use 是一款专为 macOS 设计的 GUI 自动化工具，采用「截图 → OCR 识别 → 标注元素 → 执行操作 → 验证结果」的闭环工作流。其核心能力包括：

• 智能元素识别：利用 Apple Vision 框架进行 OCR 文字检测，自动标注可交互元素并生成编号映射
• 精准点击控制：支持通过元素编号 (clicknum) 或直接画布坐标 (click) 两种方式定位
• 完整输入能力：文本输入采用剪贴板粘贴机制，完美支持 Unicode 及 CJK 字符；同时支持快捷键组合
• 窗口管理：可列出所有可见窗口、处理多窗口场景、自动激活目标窗口

显著优点

1. 视觉驱动：无需提前获知应用内部结构，纯视觉方式适配任意 macOS 应用
2. 跨语言友好：OCR 识别 + 剪贴板粘贴机制，对中文、日文等非拉丁语系支持极佳
3. 坐标标准化：统一的 1000×1000 画布坐标系，简化跨分辨率适配
4. 零侵入性：不依赖应用 API 或辅助功能权限，通过标准系统工具实现控制

潜在局限

• 平台锁定：仅支持 macOS，依赖 Apple Vision 框架
• OCR 盲区：纯图标按钮、自定义图形元素可能无法被识别，需回退到坐标点击
• 性能开销：每次交互需截图 + OCR + 磁盘读写，不适合高频毫秒级操作
• 状态依赖：元素编号随界面变化而动态变化，无法硬编码复用

适合人群

• 需要自动化操作无 API 开放的应用（如企业内网系统、老旧软件）
• 进行跨应用集成测试的 QA 工程师
• 希望用自然语言指令控制 Mac 桌面的效率用户
• 开发 macOS 自动化工作流的开发者

常规风险提示

• 隐私敏感：截图可能捕获屏幕上的敏感信息，避免在处理机密内容时使用
• 操作确认：自动化点击存在误触风险，建议在关键操作前增加人工确认环节
• 窗口焦点：多窗口场景下需明确指定窗口 ID，否则可能操作非预期目标
• 时序依赖：界面加载、动画过渡需要预留等待时间，否则可能识别失败

核心用法

mac-use 是一个 macOS 专属的智能 GUI 自动化工具，采用 "截图 → OCR 识别 → 视觉标注 → 精准交互" 的闭环工作流程。用户无需编写复杂的坐标脚本，只需通过自然语言描述界面元素，系统即可通过 Apple Vision 框架自动识别文字并生成带编号标注的截图，用户直接指定编号即可完成点击、输入、滚动等操作。

典型工作流程：
1. 打开目标应用并等待加载
2. 执行 screenshot 命令获取带编号标注的界面截图及元素坐标 JSON
3. 查看标注图片，通过 clicknum <编号> 点击目标元素
4. 使用 type 输入文本（支持中英文及 Unicode），key 发送快捷键
5. 再次截图验证操作结果

关键命令：list（列出窗口）、screenshot <应用名>（截图+OCR）、clicknum N（点击编号元素）、click x y（坐标点击备用）、scroll（滚动）、type/key（输入）。

显著优点

• 零代码自动化：无需定位元素选择器或坐标，通过视觉语义直接交互
• 原生 OCR 支持：基于 Apple Vision 框架，中英文识别准确率高
• 多语言输入友好：采用剪贴板粘贴机制，完美支持 CJK 字符输入
• 多窗口管理：通过 --id 参数精准控制同一应用的多个窗口
• 安全机制完备：pyautogui 启用 FAILSAFE（移角中断）和短 PAUSE，防止失控
• 纯本地处理：零网络请求，截图仅存 /tmp 目录，隐私风险极低

潜在缺点与局限性

• 平台锁定：仅支持 macOS，依赖 Apple Vision 和 screencapture 等系统工具
• 权限门槛高：需用户手动授予 "屏幕录制" 和 "辅助功能" 系统权限
• OCR 盲区：纯图标按钮（无文字）无法识别，需 fallback 到手动坐标 click
• 分辨率适配：1000×1000 画布坐标系需换算，复杂窗口缩放场景可能偏差
• 异步界面挑战：动态加载内容需人工控制 sleep 等待，无智能等待机制
• 无密码输入：明确禁止输入密码，安全但也限制了部分场景

适合人群

• 自动化测试工程师：快速验证跨应用 UI 流程
• 重复性任务用户：定时报表导出、批量表单填写等
• 无障碍需求用户：通过脚本辅助复杂 GUI 操作
• 开发者/极客：探索 macOS GUI 自动化边界

常规风险

• 权限滥用风险：获辅助功能权限后理论上可控制任意应用，需信任 Skill 来源
• 误操作风险：编号看错或界面变化导致点击错误元素
• 临时文件残留：/tmp/mac_use.png 等文件需系统重启或手动清理
• 鼠标抢占：自动化过程中人工移动鼠标可能干扰或触发 FAILSAFE 中断
• 隐私截图泄露：截图包含屏幕全部内容，敏感信息可能被记录到临时文件

来源与合规

该 Skill 为社区个人开发者维护（T2 可信度），MIT 开源协议。通过 CLS-Certify 安全认证（Grade A，75分），六维雷达显示网络流量（95分）和依赖审计（85分）表现优异，无 CVE 漏洞命中，符合 GDPR 数据最小化原则。