Telegram Multilingual Voice Reply

🎙️ Telegram智能语音交互 本地ASR+TTS

Telegram智能语音交互助手,支持文字/语音输入,本地ASR转写后生成同语言语音回复,语音与文字同条消息发送,适用于Apple Silicon设备。

收藏
4.4k
安装
1.3k
版本
0.1.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

本Skill为OpenClaw在Telegram平台上的多语言语音交互工作流,实现"语音优先+语言跟随"的智能回复机制。

输入处理逻辑

  • 文字输入:默认仅返回文字回复,不触发ASR/TTS;仅当用户明确要求"语音回复"时才生成语音+文字组合消息
  • 语音输入:强制走本地ASR转写(mlx-community/Qwen3-ASR-0.6B-8bit模型),理解语义后生成回复;默认输出"语音+文字caption"同条消息,用户明确说"只要文字"时则仅返回文字

技术实现

  • STT:本地mlx_audio运行,默认Qwen3-ASR-0.6B-8bit模型,支持ogg/opus格式(Telegram语音默认格式)
  • TTS:通过scripts/mlx_tts_voice.py生成Telegram友好的ogg/opus语音
  • 消息格式:利用Telegram voice note的caption特性,将语音和文字绑定为单条消息,caption必须与语音内容完全一致

语言策略:严格跟随用户输入语言(中文→中文,英文→英文),除非用户显式指定其他语言,支持方言/口吻要求(受TTS模型限制)

显著优点

1. 隐私优先的本地处理:ASR/TTS均在Apple Silicon本地执行,敏感语音数据不上传云端
2. 交互体验优化:语音+文字同条消息设计,避免对话流碎片化,用户可听可看

3. 语言自适应:无需手动切换语言设置,自动识别并匹配用户用语习惯

4. 灵活输出模式:支持纯文字、纯语音、语音+文字三种模式,响应用户显式指令

潜在缺点与局限性

1. 硬件绑定:依赖Apple Silicon(MLX框架),x86设备无法运行
2. TTS质量瓶颈:mlx-community的TTS模型在方言、情感表达、长文本自然度上可能逊于商业云端TTS

3. ASR语言覆盖:Qwen3-ASR对低资源语言支持有限,小语种识别准确率可能下降

4. 格式兼容性:Telegram语音为ogg/opus,虽脚本内置ffmpeg fallback,但极端情况下可能转码失败

5. 无对话记忆管理:Skill未提及多轮对话上下文维护机制,长对话连贯性依赖底层OpenClaw实现

适合人群

  • Telegram重度用户且偏好语音交互的效率型用户
  • 对语音隐私敏感、拒绝云端ASR/TTS的Apple Silicon设备持有者
  • 需要跨语言(中英为主)自然交流的多语言使用者
  • 希望减少打字、通过语音快速获取结构化回复的场景

常规风险

  • 模型幻觉:ASR转写错误可能导致后续回复偏离用户真实意图,关键场景建议用户核对caption
  • 语音伪造感知:TTS生成语音缺乏说话人特征,接收方可能误判为真人/非真人,存在社交信任摩擦
  • 本地资源占用:MLX模型推理消耗NPU/GPU资源,低电量或老旧机型可能影响系统流畅度
  • caption一致性维护:开发层面需确保caption与语音内容严格一致,否则造成用户体验割裂

Telegram Multilingual Voice Reply 内容

references文件夹
scripts文件夹
手动下载zip · 8.9 kB
qwen3-asr-notes.mdtext/markdown
请选择文件