Local STT (Nvidia Parakeet + Whisper Support)

核心功能

local-stt 是一个统一的本地语音转文本（Speech-to-Text）解决方案，基于 ONNX Runtime 实现 int8 量化推理，无需依赖云服务即可完成语音识别任务。

双后端架构

| 后端 | 优势 | 适用场景 |

|------|------|----------|

| **Parakeet** (默认) | 英语识别精度最高，能准确捕获专有名词和填充词 | 英语播客、会议记录 |

| **Whisper** | 推理速度最快，支持99种语言 | 多语言内容、实时转写 |

技术亮点

• 本地优先：数据不出设备，隐私保障
• int8量化：内存占用低，CPU推理高效（24秒音频0.4-0.6秒完成）
• 模型灵活：Parakeet v2/v3、Whisper tiny→large-v3-turbo 多档可选
• 集成友好：通过 openclaw.json 可直接嵌入媒体处理工作流

使用方式

# 默认Parakeet v2（最佳英语精度）
local-stt.py audio.ogg

# 切换Whisper多语言
local-stt.py audio.ogg -b whisper

# 安静模式（适合脚本调用）
local-stt.py audio.ogg --quiet

局限性

• 硬件依赖：需安装 ffmpeg，ONNX Runtime 对旧CPU指令集支持有限
• 首载延迟：模型首次加载需下载（Parakeet ~100MB，Whisper base ~75MB）
• 语言权衡：Parakeet v2仅英语，v3多语言但精度略降；Whisper小模型速快但错字率高
• 无GPU加速：当前仅CPU推理，large模型较慢

适合人群

隐私敏感用户、离线环境工作者、需要将语音自动化集成到CLI工作流的开发者。不适合需要实时字幕（RTF虽低但非流式）或专业级转写（无标点预测、说话人分离）的场景。

常规风险

• 模型偏见：训练数据偏差可能导致特定口音识别率下降
• 量化损失：int8虽快，极端音频质量下精度可能劣于fp16
• 依赖安全：ffmpeg解析多媒体文件存在潜在漏洞面

核心用法

local-stt 是一款基于 ONNX Runtime 的本地语音转文字工具，无需云端 API，支持 Parakeet 和 Whisper 双后端切换：

• Parakeet（默认）：英语识别精度最优，擅长捕捉人名、填充词等细节，支持 v2（英语专用）和 v3（多语言）版本
• Whisper：推理速度最快，覆盖 99 种语言，提供 tiny/base/small/large-v3-turbo 四档模型

通过 -b/--backend 和 -m/--model 参数灵活切换，支持 int8 量化加速（可 --no-int8 关闭）。

显著优点

• 隐私优先：纯本地推理，音频数据不上传云端
• 硬件友好：int8 量化实现 0.018x~0.026x 实时因子（RTF），普通 CPU 即可流畅运行
• 精度与速度平衡：24 秒音频 Whisper base 仅需 0.43 秒，Parakeet v2 0.60 秒换取更高准确率
• 生态集成：内置 Matrix 消息推送（--room-id），可直接将转录结果发送至指定聊天室
• 模型自动管理：通过 HuggingFace Hub 自动下载所需模型文件

潜在局限

• 语言覆盖偏向：Parakeet 英语精度突出但多语言版本（v3）精度有所下降；Whisper 小模型（tiny）速度优先但准确率不足
• 存储占用：本地 ONNX 模型文件体积较大（Whisper large-v3-turbo 可达数 GB）
• 首次启动延迟：需下载模型文件，网络环境不佳时体验受影响
• 音频格式依赖：需系统预装 ffmpeg 进行格式转换

适合人群

• 注重隐私、拒绝云端语音服务的个人用户
• 需要离线英语高精度转录的播客/会议记录者
• 多语言场景下追求极速推理的开发者
• 已有 Matrix 生态、希望自动化消息流转的技术团队

常规风险

• Matrix Token 泄露：环境变量存储的 MATRIX_ACCESS_TOKEN 若权限配置不当（非 chmod 600）存在被其他进程读取风险
• 临时日志堆积：调试日志写入 /tmp/stt_matrix.log 无自动清理机制，长期运行可能占用磁盘
• 路径遍历可能：音频文件路径验证依赖 click.Path，对符号链接和特殊字符的防御建议用户自行加固