TTS-V3:完整六音色中文对话模型
本仓库已经包含合并后的完整V3权重、说话人编码器、音频编解码器、文本分词器和六音色参考。安装Python依赖并下载本仓库后即可离线合成,不需要另找Qwen底座或加载LoRA。
模型输出 24 kHz、单声道WAV。主模型约3.86 GB,音频Tokenizer/Decoder约0.68 GB,总权重约4.54 GB。
六种声音:与V1相同复杂话术的长音频
以下demo参考TTS-V1的实际长话术制作,每条约28–35秒,包含 14位订单号、金额及小数、日期、工作日、英文APP/VIP,并使用完整V3单次生成整段。未剪接、变速或修改F0。
| 参数 | 用途名称 | 长音频 | 时长 |
|---|---|---|---|
sales_male |
销售男声 | 试听 | 30.64秒 |
sales_female |
销售女声 | 试听 | 33.92秒 |
service_male |
客服男声 | 试听 | 29.84秒 |
service_female |
客服女声 | 试听 | 34.96秒 |
bank_collection_male |
银行催收男声 | 试听 | 28.72秒 |
bank_collection_female |
银行催收女声 | 试听 | 32.00秒 |
六种声音朗读同一段话,原始文本同时提供于demos/text.txt:
您好,很抱歉让您久等了。我已经为您查询到,您的订单编号是20261113004567,商品金额为128.50元,优惠券抵扣20元,实际支付108.50元。退款申请已于11月13日提交,预计3个工作日内退回原支付账户。请您打开APP,在订单详情页面查看处理进度。如果您是VIP会员,也可以联系在线客服。如果超过7天仍未到账,请再次联系我们,我们会尽快为您核实。感谢您的耐心等待,祝您生活愉快。
demo经过双ASR核对并保留候选记录:销售女声/客服女声选择第2次整段生成,其余选择第1次。Qwen ASR对六条最终示例均为0字符差异;Whisper仍有少量不同转写,其中银行催收男声连续数字的识别结果不一致,详见demos/verification.json。这是经过核对的试听,不是单次生成成功率或人工听审认证。
六种名称共用一个完整模型,由不同真人参考进行条件化;用途、男/女名称是暂定映射,不表示人工核实的说话人身份。
一次下载完整模型
建议Linux、Python 3.11及NVIDIA GPU。先在虚拟环境安装适合设备的PyTorch,再执行:
python -m pip install 'huggingface_hub>=0.34,<1'
hf download autotrust/TTS-V3 --local-dir TTS-V3
python -m pip install -r TTS-V3/requirements.txt
这一次下载已包含全部模型资产。推理入口只从本地目录加载,强制关闭Hugging Face/Transformers在线获取;文本规范化资源随固定版本wetext安装包提供,不需要另下载模型。
如需拷贝到无网机器,下载完成后将整个TTS-V3/目录复制过去,并预先准备匹配平台的PyTorch和requirements.txt依赖。模型目录完整性检查:
python TTS-V3/verify_files.py
直接合成长话术
python TTS-V3/synthesize.py \
--voice bank_collection_female \
--text-file TTS-V3/demos/text.txt \
--output bank_long.wav
也可直接输入文本:
python TTS-V3/synthesize.py \
--voice service_male \
--text '您好,您的订单金额是235.60元,预计3个工作日到账,请打开APP查看。' \
--output result.wav
使用自定义真人参考:
python TTS-V3/synthesize.py \
--ref-audio reference.wav --ref-text '参考录音的实际转写。' \
--text '需要生成的新文本。' --output clone.wav
默认--device cuda:0、BF16、SDPA、--seed 5000、--max-new-tokens 2048。音频码上限不是输入字数限制;特别长的输入仍可能需要分段。输出文件已存在时拒绝覆盖。
Python调用
在模型目录导入:
import soundfile as sf
from inference import TTSV3
tts = TTSV3(model_dir='.', device='cuda:0')
audio, sr = tts.synthesize(
'您好,您的退款金额为128.50元,请打开APP查看。',
voice='bank_collection_female',
)
sf.write('result.wav', audio, sr)
主目录本身也是标准Qwen3-TTS完整checkpoint,可由qwen_tts.Qwen3TTSModel.from_pretrained('本地TTS-V3目录', local_files_only=True, ...)加载。模型保持Base的参考语音/转写克隆能力,不需要本项目的LoRA层。adapters/v3/仅保存训练增量的追溯副本,推理不读取它。
合并验证与结果
28个适配矩阵已按W + (alpha/rank) × B@A合并;剩余452个主模型张量与原底座逐张量相等。音频Tokenizer/Decoder保持原权重。详见merge_manifest.json。
合并会改变BF16舍入和运算图,所以重新运行了相同的六声音×12条独立话术、72次首次生成测试,而不是直接沿用适配器结果:
| 版本 | Qwen ASR CER↓ | Whisper CER↓ | 同电话带宽声纹余弦中位数↑ | 观察到EOS |
|---|---|---|---|---|
| Qwen原底座 | 4.59% | 12.23% | 0.703 | 72/72 |
| V3运行时适配器(历史对照) | 2.12% | 3.30% | 0.707 | 72/72 |
| 本次完整合并版 | 2.53% | 3.66% | 0.718 | 72/72 |
测试每组1938个规范化目标字符,均保留失败和重复输出。声纹余弦不是“真人概率”,CER和EOS也不是自然度MOS。
离线验证: 在空HF缓存、阻止所有socket连接的进程中,用完整目录完成了72条测试话术和六条V1同场景长段落合成,未发生联网尝试,运行时没有LoRA模块。示例重采样不会恢复原电话录音缺失的高频细节。
完整交付目录
model.safetensors 已合并的完整V3主模型及说话人编码器
config.json 标准Qwen3-TTS架构配置
generation_config.json 生成参数
tokenizer_config.json 文本Tokenizer配置
vocab.json / merges.txt 文本词表与合并规则
preprocessor_config.json 文本处理器配置
speech_tokenizer/ 音频编码器/解码器、权重和配置
data/voices/ 六段固定真人参考
data/voices.json 参考转写及来源校验和
inference.py / synthesize.py Python和命令行本地推理
text_normalization.py 金额、日期、订单号/卡号规范化
demos/ 六音色长WAV、复杂文本及转写核对
evaluation/ 合并版复测、历史对照和离线报告
requirements.txt Python运行依赖
verify_files.py / SHA256SUMS 文件完整性检查
merge_manifest.json 合并过程和权重哈希
MODEL_CARD.md 数据来源、训练与评测解释
实测环境:Python 3.11、torch 2.13.0、qwen-tts 0.1.1、transformers 4.57.3、BF16/SDPA、H200。CPU与其他平台未做系统验证。组件来源与许可见MODEL_CARD.md、LICENSE.md。
- Downloads last month
- -
Model tree for autotrust/TTS-V3
Base model
Qwen/Qwen3-TTS-12Hz-1.7B-Base