核心用法
macOS GUI Automation Skill 是一套基于开源命令行工具的图形界面自动化方案，主要整合了三类技术组件：
1. cliclick - 轻量级鼠标/键盘控制工具，支持绝对坐标点击、拖拽、文本输入及快捷键模拟
2. screencapture + tesseract - 屏幕截图与 OCR 识别组合，可提取界面文本内容
3. osascript - 调用 AppleScript 实现应用启动、窗口管理及菜单操作
典型工作流程为：先通过 screencapture 捕获屏幕区域，经 tesseract OCR 识别文字内容定位目标元素，再使用 cliclick 执行点击或输入操作，必要时配合 osascript 进行应用级控制。
显著优点
- 零代码门槛：纯命令行调用，无需编写复杂脚本即可快速搭建自动化流程
- 原生工具链：依赖 macOS 内置 screencapture 和系统级 AppleScript，轻量无额外运行时
- 跨应用兼容：可操控几乎所有图形界面应用，不受特定应用 API 限制
- 灵活组合：支持 Shell 管道和脚本编排，易于集成到 CI/CD 或定时任务
潜在局限
- 分辨率强依赖：所有坐标均为绝对像素值，更换显示器或调整分辨率后需重新标定
- 无视觉识别：缺乏内置图像匹配能力，需额外集成 OpenCV 或 Sikuli 处理动态图标
- OCR 精度波动：受字体、DPI、界面主题影响，复杂布局下识别准确率不稳定
- 权限管理复杂：依赖 Accessibility 辅助功能权限，部分安全应用（浏览器、金融软件）主动阻止自动化
适合人群
- 需要快速原型验证的自动化测试工程师
- 希望简化重复性 GUI 操作的 macOS 高级用户
- 已有 Shell 脚本基础、愿自行处理坐标维护成本的开发者
常规风险
- 权限安全风险：开启 Accessibility 权限后，任何调用者均可控制用户界面，存在恶意软件利用隐患
- 误操作风险：坐标漂移或时序问题可能导致点击错误位置，造成意外数据变更
- 应用兼容性：部分采用自定义渲染引擎的应用（如 Electron 重度定制应用）可能无法被 AppleScript 正确识别