核心功能
videochat-withme 是 OpenClaw 生态中首个原生支持实时视频通话的技能,将传统文本对话升级为多模态交互体验。用户可通过语音、视频画面与AI助手进行自然对话,助手则基于视觉输入(摄像头画面)和语音输入做出回应,实现类真人视频通话效果。
技术架构
该技能采用边缘-云端混合架构:
- 语音识别(STT):Groq Whisper 云端API,需
GROQ_API_KEY - 语音合成(TTS):Microsoft Edge-TTS 云服务
- 视觉处理:本地摄像头帧转换为 base64 图像流
- 对话中枢:OpenClaw 网关
/v1/chat/completions,最终路由至用户配置的LLM(可能是本地或云端) - 服务层:基于 Python + ffmpeg,通过 launchd 持久化运行
显著优点
1. 多模态原生设计:AI首次具备"看见"用户的能力,适用于远程协助、实物展示、情感化交互等场景
2. 灵活接入方式:支持本地点对点弹出通知,也支持 Tailscale/公网远程访问
3. 人格化体验:可配置双方显示名称,结合 OpenClaw 的记忆系统实现连续性对话
4. 自动化运维:一键 setup 脚本处理证书、服务注册、依赖安装
潜在局限与风险
| 维度 | 说明 |
|------|------|
| **隐私敏感** | 摄像头画面经 base64 编码后流经 OpenClaw 网关,若配置云端LLM则图像数据离机;音频持续上传至 Groq/Microsoft 云端 |
| **平台锁定** | 强制依赖 macOS launchd,Linux/Windows 用户无法使用 |
| **密钥管理复杂** | 需手动管理 Groq API Key、SSL 证书,配置路径分散于 `~/.openclaw/secrets/` 和 JSON 配置文件 |
| **网络依赖重** | STT/TTS 双云服务,弱网环境下延迟显著;自签证书首次访问需手动信任 |
| **资源占用** | ffmpeg 持续编解码 + Python 服务常驻,对笔记本续航有影响 |
适合人群
- 已深度使用 OpenClaw 且追求沉浸式AI交互的极客用户
- 需要远程可视化协助场景(如指导老人操作设备、远程排查硬件问题)
- 拥有 Tailscale 网络基础设施、注重本地化部署优先的隐私敏感用户
风险评级
该技能涉及持续音视频流外发、多第三方云服务串联、持久化系统服务,建议仅在可信网络环境下使用,避免在包含敏感信息的场景开启摄像头。