Video Chat With Me

🎥 与你的AI面对面视频通话

实时音视频通话技能,让AI助手具备视觉与语音交互能力,支持本地部署与远程访问,需多层级云API密钥配置。

收藏
8.5k
安装
1.9k
版本
1.0.3
CLS 安全性认证2026-08-04
点击查看完整报告 >

使用说明

核心功能

videochat-withme 是 OpenClaw 生态中首个原生支持实时视频通话的技能,将传统文本对话升级为多模态交互体验。用户可通过语音、视频画面与AI助手进行自然对话,助手则基于视觉输入(摄像头画面)和语音输入做出回应,实现类真人视频通话效果。

技术架构

该技能采用边缘-云端混合架构:

  • 语音识别(STT):Groq Whisper 云端API,需 GROQ_API_KEY
  • 语音合成(TTS):Microsoft Edge-TTS 云服务
  • 视觉处理:本地摄像头帧转换为 base64 图像流
  • 对话中枢:OpenClaw 网关 /v1/chat/completions,最终路由至用户配置的LLM(可能是本地或云端)
  • 服务层:基于 Python + ffmpeg,通过 launchd 持久化运行

显著优点

1. 多模态原生设计:AI首次具备"看见"用户的能力,适用于远程协助、实物展示、情感化交互等场景
2. 灵活接入方式:支持本地点对点弹出通知,也支持 Tailscale/公网远程访问

3. 人格化体验:可配置双方显示名称,结合 OpenClaw 的记忆系统实现连续性对话

4. 自动化运维:一键 setup 脚本处理证书、服务注册、依赖安装

潜在局限与风险

| 维度 | 说明 |
|------|------|
| **隐私敏感** | 摄像头画面经 base64 编码后流经 OpenClaw 网关,若配置云端LLM则图像数据离机;音频持续上传至 Groq/Microsoft 云端 |
| **平台锁定** | 强制依赖 macOS launchd,Linux/Windows 用户无法使用 |
| **密钥管理复杂** | 需手动管理 Groq API Key、SSL 证书,配置路径分散于 `~/.openclaw/secrets/` 和 JSON 配置文件 |
| **网络依赖重** | STT/TTS 双云服务,弱网环境下延迟显著;自签证书首次访问需手动信任 |
| **资源占用** | ffmpeg 持续编解码 + Python 服务常驻,对笔记本续航有影响 |

适合人群

  • 已深度使用 OpenClaw 且追求沉浸式AI交互的极客用户
  • 需要远程可视化协助场景(如指导老人操作设备、远程排查硬件问题)
  • 拥有 Tailscale 网络基础设施、注重本地化部署优先的隐私敏感用户

风险评级

该技能涉及持续音视频流外发多第三方云服务串联持久化系统服务,建议仅在可信网络环境下使用,避免在包含敏感信息的场景开启摄像头。

安全解读

核心用法

videochat-withme 是一款为 OpenClaw 平台设计的实时音视频通话技能,用户可通过自然语言触发"视频一下""语音"等指令,与具备完整记忆和个性的AI Agent进行面对面交流。首次使用需运行setup.sh完成环境配置,包括安装Python依赖、配置Groq API密钥、生成SSL证书及注册launchd持久化服务。通话支持两种场景:本地用户通过macOS通知中心接听,远程用户则通过Tailscale或局域网IP访问Web界面。

技术流程上,用户语音经麦克风采集后由ffmpeg转码,通过HTTPS发送至Groq Whisper API进行语音识别;相机帧以base64编码随文本一并提交至OpenClaw本地网关,再路由至用户配置的LLM提供商(可能是本地模型或云端服务);AI回复文本经Microsoft Edge-TTS合成后返回播放,形成完整的音视频交互闭环。

显著优点

生态深度整合:与OpenClaw Agent的原生融合是最大亮点,AI不仅"看得见",更能调用既有记忆和工具链,实现真正意义上的"有眼睛的助手"。部署体验流畅:setup.sh一键式安装,自动处理证书签发、服务注册等繁琐操作,普通用户无需手动编辑plist文件。网络穿透友好:优先探测Tailscale IP,让内网服务具备公网可达性,解决了同类产品"同WiFi才能用"的痛点。触发词本土化:支持"视频一下""打电话给我"等中文口语指令,降低使用门槛。

潜在局限

平台锁定严重:仅支持macOS,且依赖launchd作为服务管理器,Windows/Linux用户无法使用。隐私权衡明显:语音数据必然出境至Groq云端处理,相机帧也可能流向用户配置的第三方LLM,虽然支持HTTPS加密,但无法满足纯离线需求的用户。硬件资源占用:实时音视频编解码+TTS合成对低配Mac压力较大,风扇噪音可能影响通话体验。证书信任 friction:自签名证书导致首次访问需手动点击"高级→继续",对非技术用户形成阻碍。

适合群体

  • 已深度使用OpenClaw生态、希望扩展AI交互维度的极客用户
  • 需要远程指导、设备调试等"让我看看你的屏幕"场景的技术支持人员
  • 追求"Her"式电影体验、愿为便利性接受云端处理的早期采用者
  • 拥有Tailscale网络、需要跨地域访问家庭AI助手的数字游民

使用风险

性能层面:持续的视频帧编码与base64传输可能占用较高带宽,4K摄像头用户建议降低分辨率。依赖稳定性:Groq API的可用性直接影响语音识别功能,需关注服务状态页面;Microsoft TTS服务偶发区域限流。数据残留:临时音频文件存储于/tmp目录,虽系统会自动清理,但多用户设备存在理论上的敏感信息暴露窗口。服务持久化:launchd的KeepAlive机制可能在后台持续运行,消耗电量,长期不用建议执行stop.sh卸载。

Video Chat With Me 内容

assets文件夹
scripts文件夹
手动下载zip · 30.4 kB
index.htmltext/plain
请选择文件