TTS-V3:完整六音色中文对话模型

本仓库已经包含合并后的完整V3权重、说话人编码器、音频编解码器、文本分词器和六音色参考。安装Python依赖并下载本仓库后即可离线合成,不需要另找Qwen底座或加载LoRA。

模型输出 24 kHz、单声道WAV。主模型约3.86 GB,音频Tokenizer/Decoder约0.68 GB,总权重约4.54 GB。

六种声音:与V1相同复杂话术的长音频

以下demo参考TTS-V1的实际长话术制作,每条约28–35秒,包含 14位订单号、金额及小数、日期、工作日、英文APP/VIP,并使用完整V3单次生成整段。未剪接、变速或修改F0。

参数 用途名称 长音频 时长
sales_male 销售男声 试听 30.64秒
sales_female 销售女声 试听 33.92秒
service_male 客服男声 试听 29.84秒
service_female 客服女声 试听 34.96秒
bank_collection_male 银行催收男声 试听 28.72秒
bank_collection_female 银行催收女声 试听 32.00秒

六种声音朗读同一段话,原始文本同时提供于demos/text.txt:

您好,很抱歉让您久等了。我已经为您查询到,您的订单编号是20261113004567,商品金额为128.50元,优惠券抵扣20元,实际支付108.50元。退款申请已于11月13日提交,预计3个工作日内退回原支付账户。请您打开APP,在订单详情页面查看处理进度。如果您是VIP会员,也可以联系在线客服。如果超过7天仍未到账,请再次联系我们,我们会尽快为您核实。感谢您的耐心等待,祝您生活愉快。

demo经过双ASR核对并保留候选记录:销售女声/客服女声选择第2次整段生成,其余选择第1次。Qwen ASR对六条最终示例均为0字符差异;Whisper仍有少量不同转写,其中银行催收男声连续数字的识别结果不一致,详见demos/verification.json。这是经过核对的试听,不是单次生成成功率或人工听审认证。

六种名称共用一个完整模型,由不同真人参考进行条件化;用途、男/女名称是暂定映射,不表示人工核实的说话人身份。

一次下载完整模型

建议Linux、Python 3.11及NVIDIA GPU。先在虚拟环境安装适合设备的PyTorch,再执行:

python -m pip install 'huggingface_hub>=0.34,<1'
hf download autotrust/TTS-V3 --local-dir TTS-V3
python -m pip install -r TTS-V3/requirements.txt

这一次下载已包含全部模型资产。推理入口只从本地目录加载,强制关闭Hugging Face/Transformers在线获取;文本规范化资源随固定版本wetext安装包提供,不需要另下载模型。

如需拷贝到无网机器,下载完成后将整个TTS-V3/目录复制过去,并预先准备匹配平台的PyTorch和requirements.txt依赖。模型目录完整性检查:

python TTS-V3/verify_files.py

直接合成长话术

python TTS-V3/synthesize.py \
  --voice bank_collection_female \
  --text-file TTS-V3/demos/text.txt \
  --output bank_long.wav

也可直接输入文本:

python TTS-V3/synthesize.py \
  --voice service_male \
  --text '您好,您的订单金额是235.60元,预计3个工作日到账,请打开APP查看。' \
  --output result.wav

使用自定义真人参考:

python TTS-V3/synthesize.py \
  --ref-audio reference.wav --ref-text '参考录音的实际转写。' \
  --text '需要生成的新文本。' --output clone.wav

默认--device cuda:0、BF16、SDPA、--seed 5000、--max-new-tokens 2048。音频码上限不是输入字数限制;特别长的输入仍可能需要分段。输出文件已存在时拒绝覆盖。

Python调用

在模型目录导入:

import soundfile as sf
from inference import TTSV3

tts = TTSV3(model_dir='.', device='cuda:0')
audio, sr = tts.synthesize(
    '您好,您的退款金额为128.50元,请打开APP查看。',
    voice='bank_collection_female',
)
sf.write('result.wav', audio, sr)

主目录本身也是标准Qwen3-TTS完整checkpoint,可由qwen_tts.Qwen3TTSModel.from_pretrained('本地TTS-V3目录', local_files_only=True, ...)加载。模型保持Base的参考语音/转写克隆能力,不需要本项目的LoRA层。adapters/v3/仅保存训练增量的追溯副本,推理不读取它。

合并验证与结果

28个适配矩阵已按W + (alpha/rank) × B@A合并;剩余452个主模型张量与原底座逐张量相等。音频Tokenizer/Decoder保持原权重。详见merge_manifest.json。

合并会改变BF16舍入和运算图,所以重新运行了相同的六声音×12条独立话术、72次首次生成测试,而不是直接沿用适配器结果:

版本 Qwen ASR CER↓ Whisper CER↓ 同电话带宽声纹余弦中位数↑ 观察到EOS
Qwen原底座 4.59% 12.23% 0.703 72/72
V3运行时适配器(历史对照) 2.12% 3.30% 0.707 72/72
本次完整合并版 2.53% 3.66% 0.718 72/72

测试每组1938个规范化目标字符,均保留失败和重复输出。声纹余弦不是“真人概率”,CER和EOS也不是自然度MOS。

离线验证: 在空HF缓存、阻止所有socket连接的进程中,用完整目录完成了72条测试话术和六条V1同场景长段落合成,未发生联网尝试,运行时没有LoRA模块。示例重采样不会恢复原电话录音缺失的高频细节。

完整交付目录

model.safetensors             已合并的完整V3主模型及说话人编码器
config.json                   标准Qwen3-TTS架构配置
generation_config.json        生成参数
tokenizer_config.json         文本Tokenizer配置
vocab.json / merges.txt       文本词表与合并规则
preprocessor_config.json      文本处理器配置
speech_tokenizer/             音频编码器/解码器、权重和配置
data/voices/                  六段固定真人参考
data/voices.json               参考转写及来源校验和
inference.py / synthesize.py   Python和命令行本地推理
text_normalization.py         金额、日期、订单号/卡号规范化
demos/                        六音色长WAV、复杂文本及转写核对
evaluation/                   合并版复测、历史对照和离线报告
requirements.txt              Python运行依赖
verify_files.py / SHA256SUMS   文件完整性检查
merge_manifest.json           合并过程和权重哈希
MODEL_CARD.md                 数据来源、训练与评测解释

实测环境:Python 3.11、torch 2.13.0、qwen-tts 0.1.1、transformers 4.57.3、BF16/SDPA、H200。CPU与其他平台未做系统验证。组件来源与许可见MODEL_CARD.md、LICENSE.md。

Downloads last month
-
Safetensors
Model size
2B params
Tensor type
BF16
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for autotrust/TTS-V3

Finetuned
(60)
this model