核心用法
PyAutoGUI Automation Skill 是一套基于 Python 的跨平台 UI 自动化解决方案，覆盖 Windows、Linux（X11）和 macOS 三大桌面系统。核心功能分为六大模块：
1. 键鼠控制（keyboard_mouse.py）：支持鼠标移动、点击、拖拽、滚动，键盘单键/组合键/文本输入，以及屏幕截图和坐标获取
2. 图像工具（image_utils.py）：获取图片元数据（尺寸、格式、文件大小）、裁剪指定区域
3. 屏幕标注（draw_overlay.py）：在屏幕上绘制临时标记（十字准星、圆圈、箭头、目标靶等），用于实时校准坐标
4. 图像标注（draw_on_image.py）：在图片文件中绘制持久化标记，生成带注释的参考图
5. 图像定位（image_finder.py）：基于 OpenCV 模板匹配实现像素级图像查找，基于 RapidOCR 实现屏幕文字识别与定位
6. 文件清理（cleanup.py）：自动分析并清理生成的截图和临时文件
显著优点
- 跨平台兼容：一套脚本同时支持 Windows、Linux、macOS，降低多环境维护成本
- 双模定位能力：模板匹配提供像素级精度，OCR 文字识别应对动态文本场景，两者互补
- 可视化调试：屏幕/图像双重标注系统，大幅降低坐标校准难度
- 零 API 成本：纯本地计算，无需调用外部视觉服务
- 安全机制：PyAutoGUI 内置左上角 (0,0) 紧急停止 failsafe
潜在缺点与局限性
- Linux 支持受限：仅支持 X11 窗口系统，Wayland 用户需切换或寻找替代方案
- 多显示器局限：截图功能默认仅捕获主屏幕，多屏场景需额外处理
- OCR 依赖模型：RapidOCR 首次使用需下载约 15MB 模型，且对艺术字体、复杂背景识别率下降
- 权限要求：macOS 需手动授予辅助功能权限，部分企业环境可能需要管理员权限
- 无原生应用感知：基于坐标的自动化对窗口位置变化敏感，需配合图像定位功能使用
适合人群
- QA 工程师：重复性 UI 测试、回归测试自动化
- 效率极客：批量数据处理、表单自动填充
- 开发者：快速原型验证、CI/CD 中的视觉回归测试
- 技术支持：远程协助时批量执行标准化操作步骤
常规风险
- 误操作风险：自动化脚本执行期间若目标窗口失焦，可能点击错误位置
- 系统热键冲突：建议执行前确认热键组合不会触发系统级功能
- 坐标漂移：屏幕分辨率或缩放比例变化后，硬编码坐标可能失效
- 中断困难：长序列自动化中若未设置合理延迟，人工干预窗口较短