核心用法
Screen Vision 是一套桌面自动化控制技能，通过「截图→AI视觉分析→执行操作」的闭环实现电脑自主操控。用户只需用自然语言描述任务（如"打开Chrome搜索天气""帮我填表"），系统即可自动完成截图、理解界面、执行点击/输入/滚动等操作。
典型工作流程：
1. 运行平台检测与依赖安装脚本
2. 配置视觉API密钥（支持OpenAI/Gemini/本地Ollama等多提供商）
3. 调用 run_task.py 启动任务循环
4. 系统自动：截图→diff检测（节省token）→AI分析→安全校验→执行动作→循环至完成
显著优点
- 跨平台：原生支持Linux（含无头服务器）、macOS、Windows
- 多模型可选：从免费本地模型到GPT-5.4 CUA，成本$0.01-$0.15/任务可调
- 安全机制完善：内置危险操作拦截（rm -rf、格式化等）、敏感操作二次确认、5分钟/100动作上限
- 透明可审计：所有截图自动保存至
/tmp/screen-vision/logs/
潜在局限与风险
- 依赖外部视觉API：核心功能需调用云端大模型，存在API密钥泄露、网络中断、服务条款变更风险
- 坐标精度问题：视觉模型返回的点击坐标可能存在偏移，复杂界面成功率下降
- 平台权限门槛：macOS需开启辅助功能权限，Linux无头环境需配置XFCE4+VNC
- 成本累积：高频使用下API费用可能超预期（GPT-5.4 CUA约$0.15/任务）
- 自动化滥用风险：被用于恶意自动化操作（如批量注册、爬虫）时责任边界模糊
适合人群
- 需要批量处理桌面重复性任务的开发者/运维人员
- 无障碍辅助需求用户（需配合人工复核）
- RPA（机器人流程自动化）爱好者与技术验证团队
- 不适合：处理敏感财务/隐私数据、关键生产环境无人值守操作
常规风险提示
- 配置文件
config.json中的API密钥需妥善保管，避免提交至版本控制 - 建议先在隔离环境（虚拟机/容器）中测试，确认行为符合预期后再用于工作机
- 涉及删除、支付、sudo等操作时，系统会要求确认，请勿在无人监控时运行