核心用法
Windows GUI自动化集成技能是一个聚合型自动化框架，通过统一接口整合7个专业技能模块，覆盖Windows桌面自动化的完整链路：
| 阶段 | 核心能力 | 技术实现 |
|:---|:---|:---|
| **感知** | 截图/OCR/窗口句柄获取 | `windows-screenshot` + 原生API |
| **定位** | 控件查找/AI视觉找图 | `windows-ui-automation`优先，失败自动降级至`midscene-computer-automation` |
| **操作** | 鼠标点击/键盘输入 | `win-mouse-native`(DPI感知) + `windows-desktop-control` |
| **编排** | 流程控制/异常处理/定时任务 | `windows-rpa`高级工作流 |
典型调用模式：启动检查 → 原生UI自动化定位 → 执行操作 → 失败时AI视觉兜底 → 结果验证与日志记录。
显著优点
- 零配置开箱即用：封装7个依赖技能的协同，用户无需理解底层API差异
- 双引擎定位策略：原生UI自动化（毫秒级响应）+ AI视觉（复杂场景兜底），自动降级保障成功率
- 高DPI原生支持：解决Windows缩放导致的坐标偏移痛点
- 中文场景优化：触发词、文档、模板均为中文设计
潜在缺点与局限性
- 平台绑定：仅支持Windows 10/11，macOS/Linux用户无法使用
- 游戏自动化限制：明确排除反作弊保护场景，游戏外挂风险需用户自担
- UAC管理员依赖：系统级操作需提权，企业环境可能受组策略限制
- AI视觉成本：
midscene-computer-automation调用可能产生额外Token消耗 - 技能版本耦合：依赖7个外部技能，任一重大更新可能破坏兼容性
适合人群
- 效率自动化用户：需要批量处理重复性桌面操作（数据录入、定时签到、报表生成）
- 非技术背景RPA需求者：相比专业RPA工具（UiPath/影刀），通过自然语言触发降低使用门槛
- Windows重度办公用户：高DPI设备、多显示器环境下的精准自动化控制
常规风险
- 误操作风险：自动化点击可能触发意外按钮，建议始终开启截图留痕
- 窗口状态依赖：应用更新导致UI结构变化时，原生自动化可能失效
- 权限 escalation：管理员模式运行可能扩大安全边界，敏感操作需人工复核
---
来源说明：技能文档由作者xiatian5发布于Clawhub平台，未附独立第三方审计。安全认证报告显示"未执行安全扫描"，实际安全性依赖底层7个依赖技能的实现质量。