ClawdCursor

🖱️ AI 代理的双眼与双手,操控任意桌面应用

Clawd Cursor 为 AI 赋予原生桌面操控能力,通过屏幕视觉识别实现跨应用自动化,无需 API 集成即可操作任何 GUI 界面。

收藏
8.4k
安装
2k
版本
0.4.1
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心功能

Clawd Cursor 是一款基于 Node.js 的 AI 桌面自动化技能,通过 @nut-tree-fork/nut-js 库实现对 Windows/Mac 的原生控制。它赋予 AI 代理「视觉」和「双手」——直接截屏、识别界面元素、执行鼠标点击、键盘输入、拖拽操作及完整的 GUI 自动化流程。

显著优势

  • 零 API 集成成本:无需对接 Gmail、Slack、Jira、Figma 等数十个服务的 API,只要能在屏幕上点击的,代理都能操作
  • 双执行路径:Anthropic Computer Use API 适合复杂多应用工作流(约 100-156 秒,高可靠性);OpenAI/离线模式通过 UI 自动化树直接交互(约 2 秒,可离线运行)
  • 性能优化:v0.4.0 后原生桌面控制使截图速度提升 17 倍(~50ms vs ~850ms),连接时间快 5 倍(~38ms vs ~200ms)
  • 三层安全机制:🟢自动执行导航/阅读、🟡预览后执行输入/表单填写、🔴确认后执行发送消息/删除/购买等敏感操作

局限性与风险

  • 隐私隐患:屏幕截图需发送至 Anthropic 或 OpenAI 的 API 进行视觉处理,敏感数据可能外泄
  • 环境依赖:强制要求 Node.js 20+ 及 AI API 密钥,无密钥则无法使用视觉功能
  • 安全边界:虽默认仅绑定 127.0.0.1,但 /confirm 端点的防误触机制依赖用户主动介入,无人值守场景下仍有误操作风险
  • 平台限制:目前仅支持 Windows/Mac,未提及 Linux 支持

适用人群

  • 需要跨应用自动化工作流的开发者与效率极客
  • 进行 GUI 测试、RPA(机器人流程自动化)的 QA 工程师
  • 希望用自然语言指令操控桌面的 AI 早期采用者
  • 具备一定技术能力、能配置环境变量和 Node.js 环境的用户

常规风险

API 密钥泄露可能导致账户被盗刷;截图外发至第三方 AI 服务商违反企业数据合规政策;本地 Express 服务若配置不当可能被局域网内其他进程利用;沙箱/VM 测试建议被明确写入文档,暗示生产环境使用需谨慎。

ClawdCursor 内容

手动下载zip · 2.5 kB
SKILL.mdtext/markdown
请选择文件