核心用法
claw-vision 是一款基于 Gemini 3.1 Pro Preview(NUWA Flux)的本地图像分析技能。用户通过发送图片文件或特定关键词(如"看一下这张图"),即可触发对 PNG、JPG、JPEG、GIF、WEBP 等格式的智能解析。系统通过 vision-tool.py 脚本调用云端多模态大模型,返回结构化的分析结果。
调用方式为命令行指令:
python3 ~/Documents/OpenClaw/workspace/scripts/vision-tool.py <图片绝对路径> "<提示语>"
输出遵循标准四字段格式:[summary] 提供内容概述;[fields] 提取关键文字或表格数据;[ui_elements] 罗列界面元素(针对 UI 截图);[confidence] 标注置信度等级(高/中/低)。
显著优点
- 模型先进:底层采用 Google Gemini 3.1 Pro Preview,具备业界领先的视觉理解能力
- 场景覆盖广:支持收据、文档、UI 界面、日常照片等多元场景
- 输出结构化:标准化字段设计,便于下游自动化处理
- 触发灵活:支持文件直传与语音关键词双重触发方式
- 本地安全:仅处理本地文件路径,不涉及 URL 外链,降低传输风险
潜在缺点与局限性
- 仅支持本地文件:明确不支持网络 URL,需用户先下载再上传
- 依赖外部脚本:需确保
vision-tool.py及 API 密钥配置正确 - 格式限制:暂不支持 HEIC、RAW 等专业摄影格式
- 中文语境优化:提示语默认中文,但底层模型为国际化训练,特定中文排版场景可能存在识别偏差
- 无实时预览:需等待命令执行完成,无流式输出体验
适合人群
- 需要批量处理截图信息的效率工作者
- 从事 UI/UX 设计评审的产品团队
- 希望快速提取收据、发票数据的财务人员
- 构建本地自动化工作流的技术用户
常规风险
- API 稳定性风险:Preview 版本模型可能存在服务波动或版本迭代
- 数据隐私:图片需上传至 Google 云端处理,敏感文档存在合规考量
- 路径注入风险:若图片路径来源不可控,需防范命令行注入攻击
- 误识别风险:置信度标注为"低"时,关键决策需人工复核
综合评估
claw-vision 是 OpenClaw 生态中填补"视觉感知"空白的基础能力层,技术选型紧跟 Google 最前沿的多模态模型,定位清晰。适合对识别质量有较高要求、愿意承担一定云端依赖成本的场景用户。