Gemini TTS + Agora 实时音频：搭建可回放的 AI 互动播客-北京尧图网络

1. 项目缘起与整体设计思路1.1 为什么想到做实时互动 AI 播客做播客这件事门槛一直不在“录”而在“聊”。传统播客要么是单人独白要么是提前约嘉宾、对时间、调设备一期节目从策划到上线少说也要折腾一周。我一直在想能不能让 AI 充当那个随时在线、永远不会累的对话搭档用户打开页面就能跟它聊聊完直接生成一段可以回放的音频内容。这个想法落地需要解决三个核心问题第一AI 得能“说话”而且声音要自然不能是那种一听就出戏的机械音第二用户和 AI 之间得有实时音频通道延迟要低到能正常对话的程度第三整个交互过程要能录制、能回放形成“播客”的形态。Gemini 3.8 的 TTS 能力解决第一个问题它的语音合成在自然度和情感表达上已经相当能打支持多音色、多语言还能通过提示词控制语气。Agora 解决第二个问题它的实时音频 SDK 在延迟和稳定性上是经过大规模验证的做实时互动场景非常合适。第三个问题则是在前两者基础上做一层录制和存储的逻辑。这个项目适合谁参考如果你对实时音频互动、AI 语音应用、播客工具开发这几个方向感兴趣或者想找一个把 TTS 和实时音频通道结合起来的完整案例那这篇内容应该能给你不少可直接复用的思路。1.2 整体架构拆解整个系统的数据流可以拆成四条链路用户上行音频链路用户麦克风采集 → Agora SDK 编码 → 实时传输到频道AI 下行音频链路Gemini TTS 生成音频流 → 服务端推流到 Agora 频道 → 用户端播放对话逻辑链路用户语音转文字 → 大模型生成回复文本 → 文本送入 TTS录制回放链路Agora 云端录制或服务端混流录制 → 存储 → 回放页面这四条链路里最核心的是第二条和第三条的衔接。TTS 生成的是音频数据Agora 需要的是符合其推流格式的音频帧中间需要一个转换和推流的服务端模块。我选择在服务端做这个转换而不是在客户端原因是客户端做音频重采样和推流会带来额外的性能开销而且多端一致性很难保证。架构上我把它分成三层客户端层负责采集、播放和 UI 交互服务端层负责对话编排、TTS 调用和音频推流云服务层就是 Agora 的实时频道和录制服务。三层之间通过 Agora 频道和 HTTP/WebSocket 接口通信边界清晰后续要替换某个模块也比较容易。1.3 技术选型背后的取舍TTS 这块我对比过几个方案。纯本地的 TTS 方案延迟低但音色自然度参差不齐云端 TTS API 自然度好但需要考虑网络往返。Gemini 3.8 TTS 的优势在于它支持流式输出也就是说文本可以分片送入音频可以分片返回这样首包延迟可以压得很低。对于实时对话场景首包延迟比总合成时间更重要因为用户感知到的是“AI 多久开始说话”。Agora 的选择相对直接它的 SDK 覆盖了 Web、iOS、Android、Flutter 等主流平台实时音频的延迟在 200ms 以内而且提供了云端录制、混流、旁路推流等配套能力。做实时互动 AI 播客你不可能只用一个裸的音频通道录制和回放是刚需Agora 的生态能省掉很多自己搭轮子的时间。服务端语言我选了 Node.js原因是 Gemini 的 SDK 对 JavaScript/TypeScript 支持比较完善而且 Node.js 处理流式数据天然顺手配合 Agora 的服务端 SDK 做推流也比较成熟。如果你更熟悉 Python 或 Go逻辑是一样的只是 SDK 调用方式不同。2. 核心细节解析与实操要点2.1 Gemini TTS 的调用方式与参数调优Gemini 3.8 TTS 的调用入口是通过其 API 的音频生成接口。核心参数有几个需要重点关注voice音色选择不同音色的音质和适用场景不同。做播客场景我建议选偏温暖、中低音区的音色听起来更像电台主持人。speed语速控制默认 1.0做对话场景可以稍微调到 1.05 到 1.1让节奏更紧凑。format输出音频格式建议选 PCM 16bit 16kHz 或 24kHz方便后续转码推流。stream是否流式输出实时场景必须开启。调用时有一个容易踩的坑文本如果太长TTS 的首包延迟会明显增加。我的做法是把大模型的回复按标点切分成短句逐句送入 TTS这样首句音频可以很快返回用户感觉 AI 响应很快。切分的时候要注意不要在数字、英文缩写中间断开否则会影响发音。另一个细节是提示词控制语气。Gemini TTS 支持在文本前加风格指令比如“用轻松聊天的语气说”这样的前缀实测下来对语气的影响比较明显。做播客场景我会根据对话内容动态调整这个前缀比如聊到有趣的话题用“带点笑意地说”聊到严肃话题用“平稳认真地讲”。2.2 Agora 频道与推流的关键配置Agora 这边有几个配置项直接决定项目能不能跑通频道模式必须选直播模式Live Broadcasting因为 AI 是以主播身份推流用户是观众兼连麦者。通信模式Communication适合纯多人通话不适合这种有推流角色的场景。用户角色AI 服务端账号设为 Host客户端用户设为 Audience用户需要发言时再切换为 Host 或通过连麦方式上行。这个角色切换逻辑要在客户端做好状态管理否则会出现用户以为自己能说话但实际没权限的情况。音频编码Agora 默认的音频编码是 OPUS服务端推流时需要把 TTS 输出的 PCM 数据编码成 OPUS 或者使用 Agora 服务端 SDK 提供的推流接口。我实测下来用 Agora 的服务端 SDK 做 PCM 推流是最稳的它内部会处理编码和打包。Token 鉴权正式环境必须用 Token而且 Token 有有效期。我的做法是在服务端生成 Token 时设置合理的过期时间比如 1 小时客户端在过期前重新请求。测试阶段可以临时关闭 Token 鉴权但上线前一定要打开。2.3 对话编排的核心逻辑对话编排是整个项目的“大脑”它决定了 AI 什么时候说话、说什么、用什么语气说。我的实现逻辑是这样的用户说话时客户端通过 Agora 的音频回调拿到 PCM 数据同时做语音活动检测VAD。检测到用户说完一句话后把这段音频送到语音识别服务转成文本。文本送入大模型生成回复回复文本再按标点切分送入 TTSTTS 返回的音频流通过 Agora 服务端 SDK 推流到频道。这里有个关键点打断处理。用户在 AI 说话时如果开口AI 应该立即停止当前 TTS 推流转而处理用户的新输入。这个逻辑需要在服务端维护一个状态机记录当前是“AI 说话中”还是“用户说话中”。打断时不仅要停止推流还要清空 TTS 的待合成队列否则会出现 AI 停了一下又继续说的尴尬情况。注意VAD 的灵敏度要调好。太灵敏会把环境噪音当成用户说话太迟钝会让用户说完后要等很久 AI 才响应。我建议用能量阈值加静音时长双重判断静音超过 800ms 才认为用户说完了。3. 实操过程与核心环节实现3.1 环境准备与依赖安装先列一下服务端需要的依赖npm init -y npm install agora-token agora-access-token google/generative-ai ws express客户端如果是 Web 端需要引入 Agora Web SDKscript srchttps://download.agora.io/sdk/release/AgoraRTC_N-4.x.x.js/script服务端还需要一个能接收音频流并转发的 WebSocket 服务我用ws库搭了一个简单的信令通道用来传递对话状态和控制指令。环境变量方面需要配置AGORA_APP_IDyour_app_id AGORA_APP_CERTIFICATEyour_app_certificate GEMINI_API_KEYyour_gemini_key提示Agora 的 App Certificate 只在服务端使用绝对不要放到客户端代码里。客户端只拿 Token不碰 Certificate。3.2 服务端 TTS 推流模块实现这是整个项目最核心的模块。我把它拆成三个函数synthesizeSpeech负责调用 Gemini TTS 并返回音频流pushToAgora负责把音频流推送到 Agora 频道orchestrate负责串联整个流程。const { AgoraAccessToken } require(agora-access-token); const { GoogleGenerativeAI } require(google/generative-ai); const genAI new GoogleGenerativeAI(process.env.GEMINI_API_KEY); async function synthesizeSpeech(text, voice en-US-Warm) { const model genAI.getGenerativeModel({ model: gemini-3.8-tts }); const result await model.generateContent({ contents: [{ role: user, parts: [{ text }] }], generationConfig: { responseModalities: [AUDIO], speechConfig: { voiceConfig: { prebuiltVoiceConfig: { voiceName: voice } }, speakingRate: 1.05 } } }); return result.response.audioData; }推流部分用 Agora 的服务端 SDK核心是创建一个推流客户端加入频道然后以固定帧率把音频数据送进去。这里要注意音频帧的时长要和 Agora 的要求匹配通常是 20ms 一帧。async function pushToAgora(audioStream, channelName, uid) { const client new AgoraServiceClient(); await client.join(channelName, uid, host); const frameSize 320; // 16kHz 16bit 20ms 640 bytes, 这里按实际格式调整 for (let i 0; i audioStream.length; i frameSize) { const frame audioStream.slice(i, i frameSize); await client.pushAudioFrame(frame); await sleep(20); } await client.leave(); }实测下来这个推流方式在局域网和公网环境下都能稳定工作延迟在 300ms 左右对于对话场景完全够用。3.3 客户端音频采集与播放客户端这边Web 端用 Agora Web SDK 的createMicrophoneAudioTrack采集麦克风createBufferSourceAudioTrack播放 AI 音频。关键是要处理好音频的自动播放策略浏览器要求用户先有交互才能播放音频所以页面上要有一个“开始对话”的按钮点击后再初始化音频上下文。const client AgoraRTC.createClient({ mode: live, codec: vp8 }); await client.setClientRole(audience); await client.join(appId, channel, token, null); const micTrack await AgoraRTC.createMicrophoneAudioTrack(); await client.publish(micTrack);播放 AI 音频时因为 AI 是作为另一个 Host 推流的客户端只需要订阅远端音频流即可不需要额外处理。这里有个细节订阅时要设置autoSubscribeAudio: true否则听不到 AI 的声音。3.4 录制与回放实现录制我用的是 Agora 的云端录制服务。在频道创建后通过 RESTful API 启动录制录制模式选“混流录制”这样用户和 AI 的声音会混成一路回放时不需要额外同步。POST https://api.agora.io/v1/apps/{appId}/cloud_recording/acquire { cname: podcast_channel, uid: recording_bot, clientRequest: {} }拿到 resourceId 后再调用 start 接口开始录制录制文件会存到你指定的云存储桶里。回放页面直接读取存储桶里的音频文件地址用 HTML5 audio 标签播放即可。注意云端录制有计费测试阶段记得及时停止录制否则会一直产生费用。我一般会在频道内人数为 0 后自动调用 stop 接口。4. 常见问题与排查技巧实录4.1 音频延迟高、对话不流畅这是最常见的问题。排查思路按优先级来问题现象可能原因排查方法解决方案AI 响应慢TTS 首包延迟高打印 TTS 调用到首帧返回的时间文本切短句开启流式输出用户说话后 AI 很久才回VAD 静音判定太长检查 VAD 静音阈值调到 600-800ms音频断断续续推流帧率不稳定检查推流循环的 sleep 精度用高精度定时器避免阻塞回声严重客户端没开回声消除检查 Agora 音频配置开启 AEC 和 ANS我踩过最坑的一次是推流循环里用了setTimeout而不是精确的定时器导致帧间隔忽长忽短Agora 那边收到的音频流不稳定用户听到的声音像机器人卡顿。后来换成基于时间戳的补偿循环问题就解决了。4.2 TTS 音色不自然或发音错误Gemini TTS 对多音字和英文缩写的处理有时候会翻车。比如“AI”它可能读成“A-I”两个字母也可能读成“爱”。解决办法是在文本预处理阶段做替换把容易读错的词换成拼音或全称。另一个技巧是给 TTS 加标点。实测下来逗号和句号对语调的影响很大没有标点的长句 TTS 会读得很平。我会在文本送入 TTS 前做一次标点规范化确保每句话都有合适的停顿标记。4.3 Agora 频道加入失败或推流被拒这类问题通常和 Token 有关。检查清单Token 是否过期Token 里的频道名和实际加入的频道名是否一致Token 里的 uid 和实际使用的 uid 是否匹配App ID 和 Certificate 是否对应还有一个容易忽略的点Agora 的 uid 如果是 0表示由系统分配但服务端推流时最好指定一个固定的 uid方便后续管理和排查。4.4 录制文件无声或只有单边声音云端录制混流模式下如果录制文件只有一边声音通常是混流配置里没有把两个 uid 都加进去。检查录制配置的transcodingConfig确保mixStreams数组里包含了用户和 AI 的 uid。另外录制启动的时机也很关键。如果录制在用户加入频道之前就启动了可能会录到一段静音。我的做法是在第一个用户加入频道后再启动录制这样录出来的文件开头就是有效内容。5. 项目扩展与个人经验5.1 可以继续做的几个方向这个项目跑通之后我试过几个扩展方向效果还不错。一个是加背景音乐在混流的时候把 BGM 作为一路音频混进去播客的氛围感会强很多。另一个是加多音色切换让 AI 根据话题自动切换音色比如聊科技用沉稳男声聊生活用轻快女声。还有一个方向是做“播客剪辑”功能录制完成后自动识别静音段和语气词生成一个精简版音频。这个用 VAD 加简单的音频处理就能做对于提升回放体验很有帮助。5.2 我踩过的几个坑第一个坑是客户端音频自动播放。浏览器对音频播放有严格限制如果不在用户交互的回调里初始化音频上下文AI 的声音根本播不出来。我一开始在页面加载时就初始化结果一直静音排查了半天才发现是浏览器策略问题。第二个坑是TTS 并发调用。如果用户连续快速说话服务端可能会同时发起多个 TTS 请求导致音频顺序错乱。后来我加了一个请求队列保证同一时间只有一个 TTS 任务在执行问题就解决了。第三个坑是Agora Token 过期。测试的时候没注意 Token 有效期跑了半小时后突然推流失败查日志才发现是 Token 过期了。现在我会在客户端做 Token 过期前自动刷新服务端也加了重试逻辑。5.3 给想复现的朋友几点建议如果你打算自己搭一套我的建议是先把最小闭环跑通一个客户端能说话服务端能收到并调用 TTSTTS 音频能推回客户端播放。这个闭环跑通后再加录制、加打断、加多音色一步步来。不要一上来就追求完美音质和超低延迟先把功能跑通再逐步优化。我第一版跑通的时候延迟有 2 秒多但至少能对话了后面慢慢调到 300ms 左右这个过程本身就是很好的学习。另外Agora 和 Gemini 的文档都要仔细看尤其是参数说明和错误码。很多问题文档里其实写了只是容易忽略。遇到报错先查错误码能省很多排查时间。最后分享一个小技巧在服务端加一个日志模块把每次对话的文本、TTS 调用耗时、推流帧数都记下来。这些数据在排查问题和优化性能的时候非常有用比凭感觉调参靠谱得多。

Gemini TTS + Agora 实时音频：搭建可回放的 AI 互动播客

相关推荐

PDFLIB深度解析：精准读取表单、加密与坐标的工程实践

腾讯云OpenClaw与飞书多机器人协同配置实践

腾讯云OpenClaw与飞书机器人集成实战指南

更多资讯

Kornia 精度修复：`ConvQuadInterp3d` / `conv_quad_interp3d` 的 float16 梯度溢出（NaN）问题与 float32 提升方案

Kornia 增强 API 文档修正与 ColorJitter 固定 `order`：打造 torch.compile fullgraph 安全的确定性颜色增强

Kornia normalize_quaternion float16 数值修复解析：eps 下限与除法保护机制的实现原理

Kornia nms2d 支持非方形 kernel_size：一次 NMS 邻域核构造修复的源码级解析

Kornia 颜色空间转换的 TorchScript 兼容性修复：从 PEP 604 联合类型到 `Optional[torch.Tensor]`

PaperOrchestra Outline Agent工作原理：1次LLM调用如何生成驱动全局的outline.json

今日更新

PLFM_RADAR：从被动告警到主动感知的微服务健康监控系统

SPI隔离设计实战：MAX14431BAEE+与STM32F407工业级应用

数字隔离器如何根治SPI通信地环路干扰：MAX14431与TM4C129实战

本周精选

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

本月热门

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

读完文章，想聊聊您的网站？