Give eyes to your openclaw

👁 AI Agent 的屏幕之眼 · 截图语音全捕获

赋予 AI Agent "视觉" 的屏幕截图与语音捕获工具,支持多显示器、窗口/区域/全屏捕获及结构化分析,适用于远程调试与视觉化协作。

收藏
4.3k
安装
1.1k
版本
1.0.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Eye2byte 通过 MCP 协议为 AI Agent 提供屏幕视觉能力,主要功能包括:

| 工具 | 用途 |
|------|------|
| `capture_and_summarize` | 截图并结构化分析(全屏/窗口/区域,支持多显示器) |
| `capture_with_voice` | 截图 + 语音录制 + 转录,适合口述场景 |
| `record_clip_and_summarize` | 录制屏幕片段,提取关键帧分析动态流程 |
| `summarize_screenshot` | 分析现有图片文件 |
| `transcribe_audio` | 本地 Whisper 语音转文字 |
| `get_recent_context` | 获取历史捕获摘要,避免重复截图 |

每次捕获返回结构化 Context Pack,包含用户目标、环境信息(OS/编辑器/分支)、屏幕状态、错误信号、情境推测及下一步建议。

显著优点

  • 原生多显示器支持:支持 -1 全捕获或指定显示器编号
  • 延迟捕获:可设置延迟以捕获菜单/工具提示
  • 窗口级精准定位:通过窗口名称捕获特定应用
  • 语音+视觉融合:解决"指代不明"问题,用户边指边说
  • 本地 Whisper 转录:隐私友好,无需云端语音服务
  • 远程部署支持:SSE 模式支持跨机器捕获

潜在缺点与局限性

  • Python + ffmpeg 依赖:需要本地环境配置,Windows 体验可能参差
  • MCP 生态绑定:仅限支持 MCP 的 Agent/客户端使用
  • 无实时视频流:仅支持截图/短片段,非持续屏幕共享
  • 隐私风险:屏幕捕获 inherently 敏感,需用户明确授权
  • 远程模式需 token 配置:SSE 部署有一定门槛

适合人群

  • 需要 AI 协助调试 UI/前端问题的开发者
  • 希望"指给 AI 看"而非打字描述的设计师/产品经理
  • 远程协作中需要视觉上下文的分布式团队
  • 构建 AI coding agent 的开发者(作为视觉模块)

常规风险

| 风险类型 | 说明 |
|----------|------|
| 隐私泄露 | 屏幕可能包含敏感信息(密码、Token、私人消息) |
| 误捕获范围 | 多显示器或全屏模式可能捕获非目标内容 |
| 远程传输 | SSE 模式需确保 token 安全,防止未授权访问 |
| 依赖维护 | ffmpeg 版本兼容性、Python 环境差异可能导致故障 |

来源可信度

开源项目(GitHub: wolverin0/Eye2byte),作者信息有限,无企业背书,但代码可审计。属于新兴 MCP 工具生态的早期项目。

Give eyes to your openclaw 内容

手动下载zip · 2.0 kB
SKILL.mdtext/markdown
请选择文件