核心用法
Computer Use Skill 是一套专为无头 Linux 服务器设计的虚拟桌面自动化解决方案。它通过 Xvfb（虚拟帧缓冲）和 XFCE4 桌面环境创建独立的显示会话（:99），使原本需要物理显示器的 GUI 应用程序能够在 VPS、云服务器等无头环境中运行。该技能提供 17 种标准桌面操作，包括截图、鼠标移动/点击/拖拽、键盘输入、滚动、等待等，完整覆盖人机交互的基本需求。
使用流程遵循"观察-分析-执行-验证"的闭环模式：首先通过截图获取当前屏幕状态，由 LLM 分析界面元素位置，执行点击或输入操作，再次截图验证结果，循环直至任务完成。所有操作脚本均为 Bash 实现，直接调用 xdotool 等系统工具，无需额外守护进程，与任意 LLM 模型兼容。
显著优点
环境独立性：完全基于开源工具链（Xvfb、XFCE、xdotool），不绑定特定云服务商或模型厂商，可在任何 Linux 服务器部署。
操作完整性：覆盖从基础点击到复杂拖拽、组合键、区域截图等全场景，甚至支持三击选中等精细操作。
模型无关性：纯脚本实现，输出标准 base64 图片和文本坐标，可与 Claude、GPT、开源模型等任意 LLM 配合。
资源轻量：1024×768 的 XGA 分辨率兼顾清晰度与性能，适合服务器环境；操作间内置 2 秒延迟避免资源耗尽。
潜在缺点与局限性
分辨率固定：仅支持 1024×768，现代网页或应用可能出现布局适配问题；高分屏应用需缩放处理。
无原生视觉理解：依赖 LLM 对截图进行 OCR 或元素识别，本身不提供计算机视觉能力，坐标定位精度受模型影响。
Linux 独占：基于 X11 生态，无法直接用于 Windows Server 或 macOS 环境。
延迟开销：每次操作后强制 2 秒等待+截图，高频交互场景效率受限；长文本输入采用 50 字符分块+12ms 延迟，大批量输入较慢。
适合的目标群体
- 运维工程师：需要在无头服务器上运行依赖 GUI 的遗留应用或管理面板
- 自动化测试开发者：为 Web 或桌面应用构建端到端测试流程，替代 Selenium/Puppeteer 的部分场景
- AI Agent 开发者：为 LLM 赋予"看得见、点得到"的物理世界交互能力
- 云服务器用户：在 VPS 上运行浏览器自动化、数据抓取等需要渲染引擎的任务
使用风险
键盘注入风险：type_text.sh 和 key.sh 直接将输入传递给 xdotool，若在终端焦点下输入恶意命令（如 rm -rf /），将直接执行。必须在隔离的虚拟桌面（:99）运行，严禁在宿主桌面使用。
系统级按键影响：ctrl+alt+del、、alt+F4` 等组合键可能触发系统行为，虽在虚拟环境中不影响宿主机，但可能中断当前会话。
资源消耗：持续截图生成 base64 PNG，长期高频率运行将占用 CPU 和内存；建议配合操作日志监控异常循环。
依赖稳定性：依赖 xdotool 等系统包，若目标服务器未安装或版本差异可能导致行为不一致，需预先验证环境。