OpenClaw Desktop Control

🖥️ 远程桌面 AI 自动化控制专家

基于 Bytebot Computer Use 的远程桌面自动化工具,支持 VNC/RDP 截图、键鼠控制与 UI 自动化,适用于远程运维与自动化测试场景。

收藏
3k
安装
1.3k
版本
1.0.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心功能

desktop-control 是一款基于 Bytebot Computer Use 模式实现的桌面自动化控制工具,提供远程/本地桌面环境的完整操控能力。核心功能包括:屏幕截图(支持区域裁剪、base64 编码输出)、鼠标控制(移动、点击、拖拽、滚动)、键盘输入(文本输入、组合键、按住/释放)、应用管理(打开/关闭应用、切换桌面)以及文件操作(读写、OCR 识别)。

显著优点

1. 协议兼容性强:同时支持 VNC、RDP 和本地桌面三种连接模式,覆盖服务器、虚拟机、容器及 IoT 设备等多种场景。
2. AI 友好设计:截图可直接输出 base64 格式,便于集成 LLM 进行视觉分析,实现"看屏-理解-操作"的闭环自动化。

3. 脚本化能力:提供简洁的脚本语法与录制功能,支持操作序列的保存与回放,降低重复任务编写成本。

4. 双模式使用:既可作为命令行工具独立使用,也可作为 Python 库嵌入其他项目,灵活适配不同开发需求。

潜在局限

  • 图像匹配依赖automation wait 等命令基于图像模板匹配,受分辨率、主题变化影响较大,鲁棒性不如基于 accessibility API 的方案。
  • 无原生 OCR:文档提及 OCR 功能,但未明确依赖的 OCR 引擎,实际效果需额外验证。
  • 平台差异:Linux 依赖 scrotpython3-xlib 等工具,macOS 支持相对简化,Windows 需额外适配。
  • 网络延迟敏感:远程控制场景下,高延迟会显著降低操作流畅度。

适合人群

  • 运维工程师:远程服务器 GUI 管理、无人值守操作
  • QA 工程师:桌面应用 UI 自动化测试
  • 开发者:构建 AI Agent 的计算机视觉-动作执行链路
  • 物联网开发者:带屏幕嵌入式设备的自动化控制

常规风险

⚠️ 安全风险突出:VNC/RDP 协议本身存在明文传输、弱密码爆破等隐患,工具虽提示使用 VPN/SSH 隧道,但未内置加密或强制安全策略。建议在隔离网络环境使用,避免直接暴露公网端口。此外,自动化脚本可能因环境差异导致误操作,关键场景建议增加人工确认机制。

OpenClaw Desktop Control 内容

examples文件夹
lib文件夹
scripts文件夹
手动下载zip · 12.2 kB
create_file.txttext/plain
请选择文件