voice-assistant

🎙️ 亚2秒延迟的实时AI语音对话

OpenClaw官方实时语音助手,集成Deepgram/ElevenLabs双引擎,实现亚2秒超低延迟语音交互,让AI对话自然如真人通话。

收藏
1.9k
安装
464
版本
v0.1.0
CLS 安全性认证2026-06-04
点击查看完整报告 >

使用说明

核心用法

voice-assistant 是 OpenClaw 生态的实时语音交互界面,通过浏览器麦克风采集音频,经 WebSocket 流式传输至 STT(语音转文字)服务,将识别文本送入 OpenClaw Gateway 的 LLM 处理,再通过 TTS(文字转语音)服务将响应语音实时返回播放。用户只需运行本地服务器,打开浏览器即可与 AI 进行自然语音对话。

显著优点

极致低延迟:全链路流式架构实现亚2秒首音响应,Deepgram 双引擎组合可将延迟控制在1秒左右。 灵活配置:支持 Deepgram 与 ElevenLabs 双供应商自由组合,STT 和 TTS 可独立选择,兼顾成本、质量与多语言需求。 打断重连:内置 Barge-In 机制,用户可随时打断 AI 发言,系统自动取消当前播放并重新监听。 零代码集成:与 OpenClaw Gateway 的 OpenAI 兼容端点无缝对接,复用现有 Agent 的全部工具、记忆与上下文。

潜在缺点与局限性

外部依赖重:必须持有 Deepgram 或 ElevenLabs 的付费 API Key,产生持续调用成本。 网络敏感:WebSocket 全链路对网络稳定性要求高,弱网环境下易出现卡顿或断连。 本地部署门槛:需安装 uv、配置 Python 环境,非技术用户上手存在难度。 隐私顾虑:语音数据需上传至第三方云服务处理,敏感场景受限。

适合的目标群体

  • 追求自然交互体验的 OpenClaw 深度用户
  • 需要 hands-free 场景(驾驶、实验室、厨房)的开发者
  • 构建语音客服、智能导购等实时对话产品的技术团队
  • 愿为低延迟体验支付 API 费用的专业用户

使用风险

成本风险:流式 STT/TTS 按用量计费,长时间对话可能产生意外费用,建议配置用量监控。 隐私合规:语音内容经第三方云服务处理,需确保符合 GDPR、个人信息保护法等法规要求。 服务可用性:依赖 Deepgram/ElevenLabs 的 SLA,单点故障将导致功能完全不可用。 本地安全:默认 HTTP/WSS 传输,生产环境需自行配置 HTTPS 和访问控制,防止未授权访问。

安全解读

Voice Assistant 综合评估

核心用法

Voice Assistant 是 OpenClaw 生态的官方实时语音交互技能,将传统文本式 AI Agent 升级为自然语音对话体验。用户通过浏览器麦克风说话,系统实时将语音流转录为文本,送入 OpenClaw Gateway 的 LLM Agent,再将返回的文本流式合成为语音播放。

典型使用流程
1. 配置 .env 文件,选择 STT/TTS 服务商(Deepgram 或 ElevenLabs)

2. 运行 uv run scripts/server.py 启动本地服务

3. 浏览器访问 localhost:7860,点击麦克风开始对话

4. 支持打断(Barge-In):用户说话时自动中断 AI 语音输出

显著优点

1. 极致低延迟架构

  • 端到端流式设计:音频采集 → STT → LLM → TTS → 播放,全链路无阻塞
  • 首音频目标 <2秒:实际典型延迟 1.0-2.5 秒,对标行业顶尖水平(如 GPT-4o 实时语音)
  • WebSocket 全双工:浏览器与服务器、服务器与语音 API 均为 WebSocket 长连接

2. 灵活的双供应商策略

| 组合 | 优势场景 |
|------|---------|
| Deepgram STT + ElevenLabs TTS | 识别快+音质最佳 |
| Deepgram 全家桶 | 延迟最低、成本最优、单账单管理 |
| ElevenLabs 全家桶 | 多语言支持最强、声音克隆生态丰富 |

3. 工程成熟度

  • OpenClaw 官方维护,代码 482 行/5 文件,结构清晰
  • 依赖 FastAPI、httpx、websockets 等知名库,无安全漏洞
  • 完整的环境变量配置体系,无硬编码敏感信息

4. 打断与上下文连续

  • 支持语音打断,自动取消当前 TTS 和 LLM 生成
  • 与 OpenClaw Gateway 共享上下文、工具、记忆,非独立会话

潜在缺点与局限性

1. 外部依赖风险(关键)

  • 数据出境:语音数据必须发送至 Deepgram/ElevenLabs 美国服务器
  • 服务可用性:依赖第三方 SLA,无离线/私有部署选项
  • 成本不可控:按用量计费,高并发场景成本可能显著上升

2. 部署复杂度

  • 需同时维护:OpenClaw Gateway + Voice Assistant 服务 + 浏览器环境
  • 网络配置要求高:建议 HTTPS、防火墙规则、同源策略处理
  • 默认监听 0.0.0.0,存在局域网暴露风险

3. 功能边界

  • 仅支持单轮对话的打断,复杂多轮打断场景未明确优化
  • 无内置噪声抑制、回声消除(依赖浏览器 Web Audio API 基础能力)
  • 无语音活动检测(VAD)的精细化调参界面

4. 平台限制

  • 浏览器端实现,移动端体验未优化
  • 需现代浏览器支持 Web Audio API 和 WebSocket

适合人群

| 用户类型 | 适用度 | 说明 |
|---------|--------|------|
| OpenClaw 现有用户 | ⭐⭐⭐⭐⭐ | 无缝扩展已有 Agent,复用全部上下文和工具 |
| 语音交互原型开发者 | ⭐⭐⭐⭐⭐ | 最快搭建可演示的实时语音 Demo |
| 对延迟敏感的生产环境 | ⭐⭐⭐⭐ | 架构优秀,但需评估供应商 SLA |
| 数据隐私敏感场景 | ⭐⭐⭐ | 需接受数据出境,或等待私有化方案 |
| 离线/边缘部署需求 | ⭐ | 必须联网,无本地 STT/TTS 支持 |

常规风险

认证报告摘要(CLS-2026-0605-VoiceAssistant-A1B2)

  • 综合评分:78/100,等级 A
  • 来源可信度:T2(OpenClaw 官方组织账号)
  • 关键发现:4 项,无高危漏洞
| 风险项 | 等级 | 说明 |
|--------|------|------|
| 第三方 API 数据出境 | Medium | 语音数据发送至 Deepgram/ElevenLabs |
| 麦克风权限申请 | Low | 浏览器标准权限流程,需 HTTPS/localhost |
| 环境变量配置依赖 | Info | 配置缺失导致启动失败 |
| 本地服务网络暴露 | Info | 默认 0.0.0.0:7860,建议改为 127.0.0.1 |

合规性

  • ✅ GDPR 数据最小化、CCPA 用户同意、TLS 1.2+ 加密
  • ✅ 无硬编码凭证、环境变量安全隔离
  • ⚠️ 需用户自行评估语音服务商隐私政策

总结建议

Voice Assistant 是 OpenClaw 生态中技术架构最先进的官方技能之一,流式低延迟设计达到行业领先水平。适合已使用 OpenClaw、追求快速语音化、且能接受主流云语音服务条款的场景。关键决策点在于是否接受语音数据出境——若需私有化,当前版本不适用;若接受,则是当下最优的开源实时语音方案之一。部署时务必启用 HTTPS、限制网关访问、定期轮换 API Key。

voice-assistant 内容

scripts文件夹
static文件夹
手动下载zip · 12.9 kB
__init__.pytext/plain
请选择文件