核心功能
Desktop Automation Skill 是基于 Python 的本地桌面自动化解决方案，通过 PyAutoGUI 实现鼠标键盘控制，OpenCV 完成图像识别，pytesseract 提供 OCR 文字识别能力。核心能力覆盖：坐标点击、文本输入、窗口管理、屏幕截图、剪贴板操作、图像匹配搜索、完整宏录制与回放。
显著优点
- 完全本地化：所有运算在本地执行，零网络传输，无数据外泄风险
- 跨平台兼容：支持 Windows/macOS/Linux 三大系统
- 无 API 依赖：直接操控 GUI，可自动化老旧遗留系统
- 视觉化智能：OpenCV 图像识别 + OCR 文字定位，突破纯坐标局限
- 宏录制生态：Tkinter GUI 支持录制-存储-回放完整工作流
局限性与风险
- 坐标敏感：分辨率变化或窗口移动会导致点击失败
- 图像匹配严格：需保证模板与屏幕像素级匹配（色彩、缩放）
- 权限要求：部分 Windows 应用需管理员权限
- 无内置异常恢复：失败时缺乏自动重试或回退机制
- Tesseract 配置门槛：OCR 需用户手动安装语言包并配置路径
适合人群
- 运维人员：批量处理无 API 的 Legacy 系统
- 测试工程师：GUI 自动化测试与回归验证
- 办公效率用户：重复性表单填写、数据录入
- 隐私敏感场景：需确保数据不出本地环境
常规风险提示
⚠️ 宏录制泄露风险：键盘记录器会捕获密码、信用卡号等敏感输入，录制文件以明文 JSON 存储，必须严格限制文件权限并避免在敏感操作时录制。
⚠️ 误操作风险：鼠标控制可能导致意外点击，建议先用 screenshot 确认坐标，或使用慢速模式测试。
⚠️ FailSafe 机制：PyAutoGUI 默认在鼠标移至屏幕角落时抛出异常中断，需了解此安全设计或按需关闭。