ClawdCursor

🖱️ AI 看见屏幕,自动操控你的电脑

原生桌面 AI 自动化工具,通过屏幕视觉实现跨应用控制,支持 Anthropic/OpenAI 双引擎,无需 VNC 服务器。

收藏
4.6k
安装
2k
版本
0.4.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Clawd Cursor 是一款基于 Node.js 的原生桌面自动化技能,通过 @nut-tree-fork/nut-js 库直接操控 Windows/Mac 系统。其核心能力包括:屏幕实时捕获、鼠标点击/拖拽、键盘输入及完整的 GUI 自动化。用户只需配置 AI_API_KEY,即可让 AI「看见」屏幕并执行跨应用任务——从打开 Chrome、操作 Gmail 到使用 Figma,无需针对每个应用单独集成 API。

该技能提供两条执行路径:

  • Computer Use API (Anthropic):适用于复杂多应用工作流,Claude 原生工具链自主规划、截图、执行,可靠性高但耗时较长(约 100–156 秒)
  • Decompose + Route (OpenAI/离线):任务分解后直接操作 UI 元素,零 LLM 调用,2 秒内完成简单任务,支持离线运行

显著优点

  • 零服务器依赖:纯原生控制,无需 VNC 或外部服务,v0.4.0 版本截图速度提升 17 倍(~50ms),连接速度提升 5 倍
  • 跨应用通用性:不依赖特定 API,任何可视界面均可操作
  • 双引擎灵活切换:Anthropic 适合复杂任务,OpenAI/离线模式适合快速简单操作
  • 三级安全机制:自动执行(导航/阅读)、预览日志(输入/填表)、人工确认(发送/删除/购买),降低误操作风险
  • 性能持续优化:v0.3.0 起任务执行速度提升约 70%,冗余 LLM 调用减少 90%

潜在缺点与局限性

  • 隐私风险突出:桌面截图必须发送至 Anthropic/OpenAI 进行视觉处理,敏感数据存在外泄可能
  • 外部 API 依赖:核心功能依赖商业 AI 服务,存在密钥成本、速率限制和服务可用性问题
  • Windows/Mac 独占:不支持 Linux,跨平台能力受限
  • 复杂任务延迟高:Anthropic 路径虽可靠,但百秒级响应难以满足实时交互需求
  • 环境配置门槛:需要 Node.js 20+、npm 构建,对非技术用户不够友好

适合人群

  • 开发者与 QA 工程师:进行 GUI 自动化测试、回归验证
  • 效率工具爱好者:批量处理跨应用的重复性桌面操作
  • AI 应用探索者:研究 Computer Use 类 Agent 的实际落地场景
  • 企业自动化团队:在可控环境(沙盒/VM)中部署,降低敏感数据风险

常规风险

1. 数据泄露:桌面截图包含的全部视觉信息被发送至第三方 AI 服务商
2. 密钥安全AI_API_KEY 为高敏感度凭证,泄露可能导致 API 滥用与账单损失

3. 误操作风险:尽管有三级安全机制,自主执行模式下仍可能触发非预期操作(如误发邮件、误删文件)

4. 供应链风险:依赖 @nut-tree-fork/nut-js 等第三方 npm 包,存在潜在漏洞或恶意代码注入可能

5. 合规隐患:企业环境中,屏幕数据外传可能违反数据安全政策或行业监管要求

ClawdCursor 内容

手动下载zip · 2.2 kB
SKILL.mdtext/markdown
请选择文件