尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
一文读懂NemotronLabs-VoiceChat-11B-mlx-8bit:Apple Silicon专属的110亿参数语音模型
一文读懂NemotronLabs-VoiceChat-11B-mlx-8bitApple Silicon专属的110亿参数语音模型【免费下载链接】NemotronLabs-VoiceChat-11B-mlx-8bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/NemotronLabs-VoiceChat-11B-mlx-8bitNemotronLabs-VoiceChat-11B-mlx-8bit是专为Apple Silicon优化的110亿参数语音模型它实现了双向语音交互功能让用户能够与AI进行自然流畅的对话。作为NVIDIA NemotronLabs-VoiceChat-11B模型的MLX转换版本该模型在保持原有性能的基础上通过8位量化技术大幅降低了内存占用使其能够在苹果芯片上高效运行。 模型简介110亿参数的语音交互专家NemotronLabs-VoiceChat-11B-mlx-8bit是一个完整的语音交互系统包含四个核心组件语言主干77.1亿参数采用Nemotron-H混合架构包含56层27个Mamba-2层、25个MLP层和4个分组查询注意力层隐藏层大小4480词汇量131072词汇头17.6亿参数包括令牌嵌入、LM头和函数调用头语音编码器6.1亿参数采用带mel前端的Conformer编码器语音生成器10亿参数包含Gemma-3 TTS主干、混合高斯头、神经音频编解码器和31级残差VQ该模型支持双向操作以80毫秒帧12.5帧/秒运行输入采样率16kHz输出采样率22.05kHz。 量化版本对比选择最适合你的方案NemotronLabs-VoiceChat-11B提供了多个MLX量化版本以满足不同设备配置的需求版本大小量化方式bf1622.2 GB无8bit(本仓库)13.9 GB8位仅LLM和词汇头4bit9.2 GB4位仅LLM和词汇头8bit版本被推荐为最佳选择在贪婪解码下产生与bf16版本相同的文本同时减少43%的内存使用。 Apple Silicon性能表现高效运行的秘密在Apple M4 Max68.7 GB统一内存上仅语言主干的贪婪解码性能如下版本加载时间峰值内存首令牌时间吞吐量bf163.1 s17.96 GB646 ms23.4 tok/s8-bit1.9 s10.22 GB803 ms33.2 tok/s音频编解码器的运行速度约为实时速度的6倍确保了流畅的语音交互体验。️ 快速开始两步体验语音模型步骤1文本生成与语言主干首先使用以下命令安装必要的依赖并体验语言主干的文本生成能力pip install mlx mlx-lm python mlx/extract_llm.py --src . --dst ./voicechat-llm python mlx/chat_example.py --model ./voicechat-llm --prompt The capital of France is由于源模型没有提供文本令牌器extract_llm.py会将主干与Nemotron-H基础令牌器词汇量131072配对并在写入前验证大小是否匹配。步骤2音频编解码器往返测试体验音频编解码器的功能将波形编码为512维潜在变量和31级代码然后解码回音频pip install mlx numpy python mlx/codec_example.py --repo . --wav input.wav --out output.wav在M4 Max上重建的信噪比约为8 dB以12.5帧/秒的速度运行比实时速度快约6倍。 量化细节平衡性能与效率NemotronLabs-VoiceChat-11B-mlx-8bit采用了精心设计的量化策略语言主干和三个词汇头被量化为8位组大小64占111亿参数中的94.7亿整个语音路径音频编解码器、混合高斯头、Conformer编码器和RNN-T解码器保留在bfloat16中这些小张量的误差会直接影响音频质量而节省的空间可以忽略不计与bfloat16版本相比平均相对误差仅为0.57%确保了高质量的语音交互体验。⚠️ 使用注意事项纯文本提示不在模型的训练分布范围内它被训练为发出交错的文本和音频编解码器令牌因此生成可能以音频侧令牌结束如SPECIAL_12编解码器期望22.05 kHz单声道音频其他速率会以错误的速度解码源检查点中的每个张量都存在于本仓库中转换经过完整性验证所有层级都确保有限值 许可证和归属NemotronLabs-VoiceChat-11B-mlx-8bit根据OpenMDW-1.1许可证发布遵循原始模型。基础模型和架构由NVIDIA提供MLX音频编解码器实现遵循NVIDIA NeMo Speech。要获取完整模型请克隆仓库git clone https://gitcode.com/hf_mirrors/mlx-community/NemotronLabs-VoiceChat-11B-mlx-8bit开始探索这个强大的语音交互模型体验Apple Silicon上高效运行的AI语音技术【免费下载链接】NemotronLabs-VoiceChat-11B-mlx-8bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/NemotronLabs-VoiceChat-11B-mlx-8bit创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

WindFM开源协议与社区支持:如何参与贡献与获取帮助

WindFM开源协议与社区支持:如何参与贡献与获取帮助

WindFM开源协议与社区支持:如何参与贡献与获取帮助 【免费下载链接】WindFM 项目地址: https://ai.gitcode.com/hf_mirrors/NeoQuasar/WindFM WindFM 是一个基于 MIT 开源协议的风电预测模型项目,旨在为开发者和研究人员提供高效、可靠的时间序列…

📅 2026/9/26 19:56:52
收藏!小白程序员必看:企业AI转型痛点与破局之道,轻松掌握大模型应用

收藏!小白程序员必看:企业AI转型痛点与破局之道,轻松掌握大模型应用

文章分析了企业在AI转型中普遍存在的三大问题:不知从何下手、害怕折腾、缺乏牵头人,导致大部分企业尽管70%的业务环节适合AI化,却仅有不到5%真正实施。文章提出,成功转型的企业通常从最小单元开始,由老板亲自监督&…

📅 2026/8/12 17:08:54
Codex多分支开发为什么越来越容易冲突?用Git工作流减少重复合并

Codex多分支开发为什么越来越容易冲突?用Git工作流减少重复合并

使用 Codex 参与项目开发后,一个很常见的变化是:代码修改速度明显变快,但 Git 冲突也可能随之增加。尤其是同时让 Codex 处理多个任务时,经常出现:两个分支同时修改同一个文件;一个任务重构代码&#xff0c…

📅 2026/9/8 12:57:25
MORE NEWS

更多资讯

📰

前端内存泄漏排查指南:原理、工具、实战一网打尽

内存泄漏这四个字,我们前端同学大多数时候是在面试题里遇见,真正到了线上,很少有人会主动跟“性能排查”较劲。但等你接手一个中大型后台系统,或者一个需要长期挂在页面上的看板大屏,用户某天跟你说“页面开了一下午越…

📰

开源代码审查协议栈:CLI+Git Diff+LLM Agent 实战指南

1. 这不是另一个“AI代码审查工具”,而是一套可落地的开源协作范式最近两周,我连续收到7个不同团队的私信,问同一个问题:“你们用的 open-code-review 是怎么跑起来的?不是 GitHub Copilot 那种黑盒,也不是…

📰

Devin 宣传视频拆解:AI 程序员真能替代 React + Netlify 全流程?

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

开发者指南:如何为 axton-obsidian-visual-skills 扩展自己的可视化 Skill(SKILL.md + references 结构实战)

开发者指南:如何为 axton-obsidian-visual-skills 扩展自己的可视化 Skill(SKILL.md references 结构实战) 【免费下载链接】axton-obsidian-visual-skills Visual Skills Pack for Obsidian: generate Canvas, Excalidraw, and Mermaid dia…

📰

嵌入式Linux自学探索

本人是浙江某双非一名刚入学的研一新生,学习控制工程专业,由于已经知道研究方向对未来的工作作用不大,决定开始自学嵌入式,并开了这么一个专题来记录自己的技术成长路线。 目前手上的资源:正点原子imx6ull开发版&#…

📰

【MySQL语法】游标:用 TaoToken 统一 Key 跑通存储过程调试配置

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬