3秒参考音频就能改词换句：VoiceCraft 零样本语音编辑与TTS-北京尧图网络

3秒参考音频就能改词换句VoiceCraft 零样本语音编辑与TTS【免费下载链接】VoiceCraftZero-Shot Speech Editing and Text-to-Speech in the Wild项目地址: https://gitcode.com/GitHub_Trending/vo/VoiceCraftVoiceCraft 是一个神经声码器语言模型专攻两件事零样本语音编辑和零样本 TTS。给它几秒参考音频加对应文本就能把录音里指定的词改掉或直接用那个人的声音念一句新话。训练数据是播客、有声书、网络视频这类真实场景语音不是录音棚数据。它到底能帮你做什么功能输入说明零样本语音编辑原音频原文本改后文本替换/修改指定词音色和节奏自然衔接零样本 TTS数秒参考音频目标文本克隆没听过的人的声音长文本 TTS长文本参考音频Gradio 界面里分段拼接生成训练与微调自己的音频转写提供数据准备和训练脚本一句话概括同一个模型、同一套推理代码既能当音频 PS用也能当声音克隆器用。另外提醒一下README 末尾明确写了不能未经本人同意编辑他人语音商用前先看 LICENSE-CODE 和 LICENSE-MODEL。最值得看的设计一个模型同时干编辑和 TTS很多方案里改词编辑和念新句TTS是两套流程VoiceCraft 把它们统一成了同一个训练目标token 填充infilling。音频先被 Encodec 编码成 4 个 codebook 的离散 token 序列训练时随机挖掉序列中的几段空位让模型根据上下文把空位补回来。补中间空位就是语音编辑从头生成、只留前几秒参考音频做提示就是 TTS——机制完全一样只是空位挖在哪不同。这套逻辑集中在 models/voicecraft.py 的prepare_mask_intervals和rearrange两个函数里值得逐行读。生成阶段每个 token 怎么采样的看这段就明白了def topk_sampling(logits, top_k10, top_p1.0, temperature1.0): if temperature ! 1.0: logits logits / temperature logits top_k_top_p_filtering(logits, top_ktop_k, top_ptop_p) token torch.multinomial(F.softmax(logits, dim-1), num_samples1) return token来自 models/modules/sampling.py 的核心采样逻辑。有个实用细节项目 2025 年 3 月把推理默认采样从 top-p 改成 top-k40编辑和 TTS 质量都明显提升说明这类模型调参时采样策略比换结构更有用。还有一个容易被忽略的工程点切参考音频不是按时间硬切而是先跑 MFA 强制对齐找到词边界再下刀所以克隆的几秒提示片段干净利落不会在词中间断掉。⚖️ 和同类项目比它强在哪维度VoiceCraft早期 VALL-E 类复现传统 TTS 引擎语音编辑原生支持改词后自然衔接以生成为主编辑需自行拼基本不支持训练数据播客/有声书等真实场景语音多为干净数据集录音棚录制克隆所需参考数秒通常更长时间段需专人录制注册上手方式命令行 / Gradio / Docker论文级复现成熟但多闭源换角度说它的护城河不是参数量而是野生数据编辑和 TTS 共用一套目标。想体验完整流程可以看 inference_speech_editing.ipynb 和 inference_tts.ipynb 两个示例。怎么开始用克隆仓库git clone https://gitcode.com/GitHub_Trending/vo/VoiceCraft按 README 的 Environment setup 一节建 conda 环境注意 MFA 强制对齐依赖是单独安装的直接跑python tts_demo.py不改参数就用仓库自带演示音频结果存到./generated_tts想要界面就pip install -r gradio_requirements.txt后运行python gradio_app.py浏览器打开 127.0.0.1:7860想训自己的数据照着 README 的 Training 一节准备 manifest再看 z_scripts/e830M.sh 和微调脚本 z_scripts/e830M_ft.sh先跑通tts_demo.py听个默认输出再回去读rearrange和insert_mask两段代码半天就能搞清楚编辑和 TTS 是怎么共用一套训练的。跑完顺手改改-co参数试试不同长度的参考音频是理解这个模型最便宜的方式。【免费下载链接】VoiceCraftZero-Shot Speech Editing and Text-to-Speech in the Wild项目地址: https://gitcode.com/GitHub_Trending/vo/VoiceCraft创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

3秒参考音频就能改词换句：VoiceCraft 零样本语音编辑与TTS

相关推荐

数据资产管理平台选型：从元数据到数据标准的供应商横评与PoC验证思路

N_m3u8DL-RE 速览：3 条命令搞定 DASH/HLS/MSS 流媒体下载

QMK 固件中的 Boardsource 5x12 正交线性键盘：配置解析与固件构建指南

更多资讯

Julia 排序与排序相关函数完全指南：sort / sortperm / searchsorted 与 Ordering 机制深入解析

Arthas memory 命令详解：查看 JVM 堆、非堆与缓冲区内存信息

你的文献综述，可能一直在“假装学术”

text-to-audio：基于 gTTS 的文本转语音实战指南

数据编排技术在大数据分析中的效率与准确性优化

多模态不是智能核心：推理架构才是关键

今日更新

校园网认证计费模式详解：AAA与代拨架构、原理及排障

Spring Boot+Vue垃圾分类毕设：分层、权限与排错实战

把 Cline 的 Base URL 改到 TaoToken 之后，DeepSeek 仍能修调试配置

本周精选

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？