核心用法
Dialogue Audio 是基于 Fal.ai 的 Dia TTS 模型构建的双角色对话音频生成技能,通过 [S1] 和 [S2] 标签实现两个独立说话人的自然对话。用户需通过 infsh CLI 调用 falai/dia-tts 应用,输入包含说话人标签的文本提示即可生成音频。
关键操作要点:
- 说话人标签:必须大写
[S1][S2],每轮对话起始处强制标注 - 情绪控制:通过标点符号(
!兴奋、...犹豫、,呼吸停顿)和括号内非语音描述((laughs)(sighs))调控语气 - 节奏设计:逗号约0.3秒、句号约0.5秒、省略号约1.0秒,短句营造急促感,长句带逗号呈现沉思感
- 后处理:支持分段生成后合并,解决30秒以上的长对话限制
显著优点
1. 自然度突出:Dia TTS 在对话场景中的语音连贯性和情感表现力优于多数单角色 TTS 模型
2. 零配置多声线:自动分配两种差异化音色,无需声源克隆或复杂参数设置
3. 精细化情绪标记:括号内非语音描述(如 (whispers) (gasps))提供超越纯文本的细腻控制
4. 场景模板丰富:内置访谈、教程、辩论等对话结构模板,降低脚本设计门槛
潜在缺点与局限性
- 双角色硬性限制:无法扩展至三方及以上对话,复杂场景需多轮生成后人工混音
- 声线不可定制:
[S1][S2]音色由模型随机分配,无法指定特定性别、年龄或风格 - 30秒上下文窗口:单条生成长度受限,长内容需分段策略增加操作复杂度
- 语言支持未明确:文档未标注支持语种,中文等多字节语言表现存疑
- 依赖第三方 CLI:必须安装并登录
inference.shCLI,增加环境依赖
适合人群
- 播客创作者(双人访谈/对话节目)
- 有声书制作团队(角色对话场景)
- 教育内容开发者(教学问答、 explainer 视频)
- 游戏/动画预演制作(快速生成角色对白草案)
- 无专业录音设备的独立创作者
常规风险
- API 调用成本:Fal.ai 服务按量计费,长内容或高频使用需注意费用控制
- 生成结果随机性:同一提示可能因模型随机性产生不同语气或停顿位置
- 内容合规风险:生成音频需遵守 Fal.ai 服务条款,禁止用于欺诈、冒充等场景
- 输出质量波动:复杂情绪混合或非常见词汇可能出现发音异常