5 秒参考音频出中文 TTS：GPT-SoVITS 少样本语音克隆实操指南-北京尧图网络

5 秒参考音频出中文 TTSGPT-SoVITS 少样本语音克隆实操指南【免费下载链接】GPT-SoVITS1 min voice data can also be used to train a good TTS model! (few shot voice cloning)项目地址: https://gitcode.com/GitHub_Trending/gp/GPT-SoVITSGPT-SoVITS 是一个面向少样本语音克隆的开源 TTS 项目给 5 秒人声做零样本合成或者用 1 分钟录音微调出专属音色全程在 Gradio WebUI 里完成。合成质量怎么保证看它把说内容和定音色拆成两个独立模型两段都可以单独微调数据门槛才压得这么低。两段式推理管线5 秒人声为什么就能开口说话合成在代码上对应两段GPT 段GPT_SoVITS/AR/文本先过各语言前端——中文的多音字交给 GPT_SoVITS/text/g2pw/ 的 G2PW 处理——转成音素序列再由预训练 GPT 逐帧产出 25Hz 语义 tokenconfig 里semantic_frame_rate写死为 25hz。语义 token 只承载说什么和具体音色解耦所以一段 5 秒参考也能引导它输出像样的内容。SoVITS 段GPT_SoVITS/module/消费语义 token用参考音频提供音色条件生成声学特征最后由 NVIDIA 的 BigVGANGPT_SoVITS/BigVGAN/重建波形。零样本模式就是拿预训练底模直接跑这两段config.py里保留了 v1/v2/v2Pro/v2ProPlus 的不训练直接推底模选项微调则是用你的数据分别更新两段权重。推理速度有实测背书v2ProPlus 的 RTF 在 RTX 4090 上 0.014、RTX 4060Ti 上 0.028、Apple M4 纯 CPU 上 0.526——4090 上合成 1400 词约 4 分钟的音频只花 3.36 秒。从克隆仓库到合成第一句话最短安装路径按 5 步走完NVIDIA 显卡机器建好环境并装依赖git clone https://gitcode.com/GitHub_Trending/gp/GPT-SoVITS cd GPT-SoVITS conda create -n GPTSoVits python3.10 conda activate GPTSoVits一条命令装依赖、拉全部预训练权重bash install.sh --device CU128 --source HF--device可选 CU126 / CU128 / ROCM / MPS / CPU--source可选 HF / HF-Mirror / ModelScope按网络环境挑。Windows 下把bash换成pwsh并改用install.ps1。跑完后GPT_SoVITS/pretrained_models/里应出现各版本.pth/.ckpt权重——缺了就是没装全。人声混着背景音乐的素材可以加--download-uvr5一并把 UVR5 分离模型备好。确认 FFmpeg 可用终端执行ffmpeg -version有版本输出即通过conda 用户conda install ffmpegUbuntu/Debian 装ffmpeg libsox-devmacOS 用brew install ffmpeg。Windows 手动安装时要另做一步把ffmpeg.exe、ffprobe.exe放进项目根目录再装上 Visual Studio 2017 C 运行库。启动 WebUIpython webui.py浏览器打开的 Gradio 页面顶部有三个主标签0-前置数据集获取工具、1-GPT-SoVITS-TTS、2-GPT-SoVITS-变声端口分别是 9874/9872。打开1-GPT-SoVITS-TTS/1C-inference上传 5 秒参考人声填上文本并勾选语言点击合成。几秒后听到用该音色朗读的音频就说明环境完全就绪。Windows 用户更省事下载官方整合包解压双击go-webui.bat直接进入第 4 步。官方验证过的环境组合Python 3.10/3.11 PyTorch 2.5.1CUDA 12.4Python 3.11 PyTorch 2.7.0CUDA 12.8Apple silicon 用 Python 3.9/3.11纯 CPU 用 Python 3.9 PyTorch 2.2.2。版本怎么选能力边界在哪版本特点适合场景v1 / v2v2 新增韩语、粤语预训练数据从 2k 扩到 5k 小时低质量参考音频效果有改进训练集音质一般v2Pro / v2ProPlus硬件成本和速度与 v2 相当效果超过 v4显存占用略高于 v2效果优先、想要更快响应v3 / v4音色相似度更高底模直接推效果就更好GPT 更稳、重复遗漏更少追求贴近参考音色v4 原生 48kHz 输出两条实用结论训练集平均音质一般时v1/v2/v2Pro 能出像样的结果v3/v4 反而不行v3/v4 的合成音色、节奏更贴近参考音频本身而不是整个训练集的平均。v4 修掉了 v3 因非整数倍上采样带来的金属质感且原生 48kHzv3 只有 24kHz高音容易发闷作者把 v4 视为 v3 的直接替代品。v3/v4 的训练支持 LoRAs2_train_v3_lora.py只更新小权重显存占用更低。语言标注别写错标注格式是音频路径|说话人|语言|文本语言字段取zh/en/ja/ko/yue。进阶完整微调流程与 API 接入想焊住一个音色完整链路是0-前置数据集获取工具填原始音频路径先 UVR5 做人声分离可选再自动切分成短片段。自动转写后端可选 Fun-ASR-Nano31 语种方言默认推荐、SenseVoice极速、经典 FunASR中文/粤语或 Faster Whispertools/asr/。在1B-ASR批量打标校对文本。错字会原样进训练集这一步值得过一遍。在1B-微调训练分别微调 GPTs1_train.py和 SoVITSs2_train.py产出.ckpt/.pth权重。回1C-inference下拉框选中新权重合成对比。接入自己的应用api_v2.py 默认绑定127.0.0.1:9880/tts接口接受text、text_lang、ref_audio_path、prompt_lang等参数还带speed_factor语速、seed可复现、streaming_mode分块返回成功直接回 wav 音频流失败回 400 JSON 错误信息。/set_gpt_weights、/set_sovits_weights支持运行时热切换权重适合把 TTS 嵌进 Web 服务或内容流水线。常见问题速查安装阶段Windows 一启动就报 ffmpeg 相关错误缺 ffmpeg把ffmpeg.exe/ffprobe.exe放进项目根目录并装 VS 2017 运行库。界面提示找不到预训练模型GPT_SoVITS/pretrained_models权重不全重跑一次install.sh/install.ps1对照 config.py 核对版本对应的文件名v4 需要gsv-v4-pretrained/s2Gv4.pth等。中文合成报文本前端错误缺 G2PW 中文前端只有中文 TTS 需要下载 G2PWModel解压改名后放进GPT_SoVITS/text。训练阶段显存不足或训练中断开半精度is_halfDocker 里设环境变量is_halftruev3/v4 换更小的 batch 或 LoRA 训练。Mac 上训出来的模型明显更差Apple 芯片 GPU 训练质量低于其他设备官方建议 Mac 用 CPU 训练安装时--device CPU。推理阶段Docker 容器行为异常Windows Docker Desktop 默认共享内存偏小把 docker-compose.yaml 里的shm_size调大到16g。ASR 首次使用卡住模型首次运行要联网下载离线环境需手动把 FunASR 模型放进tools/asr/models。合成音频有金属声、高音发闷在用 v3 或其声码器直接升级 v4 权重。收尾建议的使用节奏先跑通零样本确认音色方向对再用 1 分钟素材完整走一遍切分 → ASR → 校对 → 微调细节操作对照 docs/cn/ 的中文文档。日常生产里最容易被忽略的两件事——标注语言字段写对、ASR 转写认真校对——往往比换版本更能救活合成效果。【免费下载链接】GPT-SoVITS1 min voice data can also be used to train a good TTS model! (few shot voice cloning)项目地址: https://gitcode.com/GitHub_Trending/gp/GPT-SoVITS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

5 秒参考音频出中文 TTS：GPT-SoVITS 少样本语音克隆实操指南

相关推荐

安装前必看的检查清单：如何为 dsh-voice-ai-girlfriend 配好环境？显存、CUDA、WSL2 一次装齐

RapidOCR 5分钟装好，离线跑通多语言 OCR 识别

Blender 免费开源 3D 软件完整指南:从建模、动画到渲染

更多资讯

C# 无需 IIS 搭建 Web 服务：.NET 8 自托管与 Kestrel 实战指南

Unity WebGL Dome全屏下中文输入稳定方案

零基础入门C++网络编程：用asio2快速跑通TCP与HTTP

XP i386完整包安装指南：从可引导ISO到虚拟机驱动避坑

SSM图书管理系统实战：三层架构、借还书事务与库存扣减排错

滑动窗口的使用（一）

今日更新

AI智能体开发实战：从技术原理到商业落地

OpenShell 完全定制指南：从安装到深度配置，打造高效 Windows 开始菜单

Superpowers技能体系全解析：从Skills引入到安装的完整指南

本周精选

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？