核心用法
本技能提供基于 Azure OpenAI GPT Realtime Mini 模型的实时音频叙事生成完整技术栈实现，涵盖从文本到可播放音频的全流程：
后端流程：通过 WebSocket 连接 Azure Realtime 端点，配置 output_modalities: ["audio"] 启用纯音频输出模式，发送文本 prompt 后流式接收 PCM 音频块（24kHz/16-bit/单声道）与实时字幕，最终转换为 WAV 格式并以 base64 返回前端。
前端流程：接收 base64 编码的 WAV 数据，转换为 Blob 对象并生成可播放 URL，实现即时播放。
关键配置：端点需将 HTTPS 转换为 WSS 协议，模型固定为 gpt-realtime-mini，支持 6 种预置音色（alloy、echo、fable、onyx、nova、shimmer）。
显著优点
- 端到端实时性：WebSocket 流式传输实现低延迟音频生成，无需等待完整文件
- 云原生架构：基于 Azure OpenAI 托管服务，免模型部署与运维
- 全栈代码完备：提供 Python FastAPI 后端 + React 前端完整实现参考
- 格式标准化：输出为通用 WAV 格式，兼容主流浏览器与播放器
- 字幕同步生成：同步返回转录文本，便于字幕叠加与内容审核
潜在缺点与局限性
- Azure 生态锁定：依赖 Azure OpenAI 服务，需特定 API key 与端点配置
- 成本结构：Realtime API 按 token 计费，长音频生成成本高于批处理 TTS 方案
- 音色受限：仅支持 6 种预置音色，无法自定义声线克隆
- 网络依赖：WebSocket 连接对网络稳定性要求高，弱网环境易中断
- 格式转换开销：PCM 转 WAV 需额外处理步骤，增加端到端延迟
适合人群
- 需快速集成 AI 播客/有声书功能的全栈开发者
- 构建实时语音交互应用的AI 应用团队
- 已采用 Azure 技术栈的企业级项目
- 需要流式音频输出的内容创作工具开发者
常规风险
- API 密钥泄露：环境变量配置不当可能导致凭证暴露
- 内容合规风险：生成音频需遵循 Azure OpenAI 内容政策，建议增加转录文本审核层
- WebSocket 连接管理：未妥善处理断线重连可能导致音频片段丢失
- 成本控制：流式生成无内置长度限制，需前端控制 prompt 长度防止意外高额计费