NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16震撼发布：2倍吞吐量与1M长上下文的革命性AI模型-北京尧图网络

NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16震撼发布2倍吞吐量与1M长上下文的革命性AI模型【免费下载链接】NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16是一款由NVIDIA开发的部署优化型大型语言模型基于Nemotron-3-Super-120B-A12B衍生而来。该模型采用Iterative Puzzle后训练压缩框架在保持强大下游任务准确性的同时显著提升了交互式、推理密集型和长上下文工作负载的推理效率为AI应用带来了革命性的突破。核心突破效率与性能的完美平衡Puzzle-75B-A9B采用混合MoE架构交错部署Mamba、MoE和Attention层支持Multi-Token Prediction (MTP)加速文本生成。与父模型相比参数规模从120.7B总参数/12.8B活跃参数优化至75.3B总参数/9.3B活跃参数实现了2倍服务器吞吐量的飞跃同时将1M token单H100并发请求从1提升至8完美解决了大模型部署中的效率瓶颈。性能对比压缩不减质的技术奇迹基准测试Puzzle-75B-A9BNemotron-3-SuperMMLU-Pro综合知识82.483.8GPQA推理能力78.680.5LiveCodeBench代码能力81.182.1RULER 1M长上下文92.293.9SWE-Bench软件开发56.959.5数据来源NVIDIA官方技术报告️ 创新架构异构混合设计的工程典范Puzzle-75B-A9B的核心优势源于其创新的压缩优化技术通过三个维度实现效率跃升异构MoE通道剪枝将专家中间维度从2688动态调整为1280-2688在敏感层保留更多容量异构活跃专家减少每token激活专家数从22降至4-18降低计算负载Mamba SSM状态剪枝状态大小从128通道减至96减少缓存I/O提升解码效率模型配置文件configuration_nemotron_h_puzzle.py中详细定义了这些架构创新通过block_configs实现不同层的异构配置兼顾效率与性能。实用部署指南快速上手体验环境准备git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16 cd NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16 pip install -r requirements.txt使用vLLM快速部署推荐vllm serve . \ --served-model-name nemotron-puzzle-75b \ --port 8000 \ --tensor-parallel-size 4 \ --enable-expert-parallel \ --async-scheduling \ --trust-remote-code \ --mamba-backend flashinfer \ --speculative-config {method:mtp,num_speculative_tokens:3} \ --gpu-memory-utilization 0.85Python API调用示例from openai import OpenAI client OpenAI(base_urlhttp://localhost:8000/v1, api_keyEMPTY) response client.chat.completions.create( modelnemotron-puzzle-75b, messages[{role: user, content: 解释什么是混合MoE架构}], max_tokens1024, temperature0.7, extra_body{chat_template_kwargs: {enable_thinking: True}} ) print(response.choices[0].message.content) 多语言支持与应用场景Puzzle-75B-A9B支持英语、法语、德语、意大利语、日语、西班牙语和中文等多语言处理适用于AI Agent系统通过modeling_nemotron_h_puzzle.py中的工具调用能力构建智能助手长文档处理1M token上下文轻松应对书籍、代码库等超长文本企业级RAG系统结合chat_template.jinja自定义对话模板复杂推理任务数学问题、逻辑推理、代码生成等场景表现优异许可与合规该模型采用OpenMDW-1.1许可协议允许商业使用。详细许可条款参见LICENSE文件。NVIDIA建议开发者在部署前进行充分的安全测试遵循安全指南和隐私说明中的最佳实践。进一步学习资源技术报告Nemotron-Labs-3-Puzzle-75B-A9B: Compressing Hybrid MoE LLMs基础模型NVIDIA-Nemotron-3-Super-120B-A12B-BF16评估工具Nemo Evaluator SDKPuzzle-75B-A9B的发布标志着大语言模型在效率与性能平衡上的重要突破为企业级AI应用提供了强大而经济的解决方案。无论是构建智能客服、开发代码助手还是处理海量文档这款模型都将成为开发者的得力工具。立即体验开启高效AI应用开发之旅【免费下载链接】NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16震撼发布：2倍吞吐量与1M长上下文的革命性AI模型

相关推荐

CANN算子规范生成器使用场景

pci配置空间内容解析

金融学的最小单位是什么？

更多资讯

AI写作如何支撑公众号矩阵：一个人批量运营多号的完整方法

代码评审工程化：用open-code-review构建高效自动化评审体系

Open Code Review：基于Git Diff与本地LLM Agent的可审计代码评审范式

VNC、SPICE、RDP远程桌面协议选型与配置实战指南

蓝牙协议仿真结果分析：指标判读、常见异常与排查思路

Node版本不兼容怎么办？nvm-windows切换实战指南

今日更新

悟空开源无代码平台实战：从实体建模到应用设计避坑指南

基于.NET9的多租户权限系统：数据权限与动态API落地实践

场地预约小程序毕设实战：SSM+微信小程序+MySQL数据库设计到避坑

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？