核心功能
jetson-cuda-voice 是一套专为 NVIDIA Jetson 边缘计算设备设计的全离线 GPU 加速语音助手流水线，完整覆盖「唤醒词检测 → 语音活动检测 → 语音识别 → 大语言模型对话 → 语音合成」全链路。核心特点在于零麦克风重启间隙设计——同一条 ALSA 音频流持续供给 openWakeWord 唤醒检测与 whisper.cpp CUDA 推理，彻底消除传统方案中 mic 重启导致的 200-500ms 音频丢失。
技术架构亮点
| 模块 | 实现方案 | 性能特征 |
|:---|:---|:---|
| 唤醒检测 | openWakeWord (~32ms chunks) | 本地运行，无云依赖 |
| 语音活动检测 | 动态环境噪声校准（480ms 中位 RMS） | 自适应风扇/空调/时段变化 |
| 语音识别 | whisper.cpp CUDA HTTP 服务 | ~2-4s/utterance，支持多语言自动检测 |
| 语言模型 | OpenRouter 或兼容 API | ~1-2s 响应，可选本地部署 |
| 语音合成 | Piper 神经网络 TTS | 热加载启动，纯离线运行 |
| 硬件反馈 | ReSpeaker LED 环 | 🔵蓝=聆听 🩵青=思考 ⚫灭=完成 🔴红=错误 |
端到端延迟：唤醒词触发后 5-8 秒输出首句语音，处于当前边缘语音助手的优秀水平。
显著优势
1. 隐私优先设计：STT 与 TTS 完全本地 GPU 推理，仅 LLM 环节需网络连接，可替换为本地模型实现全离线
2. 动态环境适应：每次唤醒后自动测量环境噪声基底，实时调整 VAD 阈值，解决固定阈值在嘈杂/安静环境失效问题
3. 对话连续性：20 轮滚动上下文记忆，支持自然的多轮追问与指代消解
4. 硬件验证完备：已在 Jetson Xavier NX (sm_72, JetPack 5.1.4) + ReSpeaker USB Mic Array v1.0 实测，提供其他 Jetson 型号的 CUDA 架构迁移指南（Orin=87, Nano=53, TX2=62）
局限性与风险
| 维度 | 具体说明 |
|:---|:---|
| **硬件门槛** | 必需 NVIDIA Jetson 设备 + 特定 USB 麦克风，x86 平台不兼容；8GB 内存型号编译时需显式指定单架构避免 OOM |
| **部署复杂度** | whisper.cpp CUDA 编译约 45 分钟，需 CMAKE 经验；ReSpeaker 需 S24_3LE 格式与 USB autosuspend 禁用配置 |
| **LLM 依赖** | 当前默认依赖 OpenRouter 云端 API（需 `OPENROUTER_API_KEY`），全离线需自行部署本地 LLM 服务 |
| **唤醒词固定** | 当前硬编码「Hey Jarvis」，修改需重新训练或替换唤醒词模型 |
| **延迟瓶颈** | 5-8 秒延迟虽优于纯 CPU 方案，但对实时交互敏感场景仍显滞后 |
适合人群
- 边缘 AI 开发者：需在工业/车载/家庭网关等场景部署私有化语音交互
- 隐私敏感用户：拒绝云端语音数据上传，追求数据主权
- Jetson 生态用户：已有 Xavier/Orin/Nano 等设备，希望最大化 CUDA 算力利用率
- 极客爱好者：具备 Linux 系统管理、ALSA 音频调试、systemd 服务配置经验的进阶用户
安全与合规建议
- 妥善保管
OPENROUTER_API_KEY，避免硬编码于脚本或提交至版本控制 - ReSpeaker LED 控制依赖
pyusb直接 USB 通信，建议以非 root 用户运行并配置 udev 权限规则 - 麦克风增益过高可能导致回声循环（扬声器→麦克风→STT 识别为「哔声」），建议 90% 增益并物理隔离扬声器与麦克风