Qwen3-Next-80B-A3B-Instruct重磅发布：下一代混合架构大模型完全指南-北京尧图网络

【免费下载链接】Qwen3-Next-80B-A3B-Instruct项目地址https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-Next-80B-A3B-Instruct点击查看免费下载Qwen3-Next-80B-A3B-Instruct 是 Qwen3-Next 系列首发的下一代混合架构大模型总参数 800 亿每 token 仅激活 30 亿原生支持 256K 上下文可扩展至 100 万 token以 10% 的训练成本超越了 Qwen3-32B 基座在 32K 以上长上下文中推理吞吐提升 10 倍。本指南将带新手快速看懂它的四大架构创新、核心规格、仓库文件结构并给出一键部署与超长上下文扩展的完整方法。四大核心亮点混合架构到底强在哪Qwen3-Next-80B-A3B 通过架构创新实现了更强的模型、更低的成本、更快的推理核心升级有四点混合注意力Hybrid Attention用 Gated DeltaNet线性注意力 Gated Attention门控注意力的组合替代标准注意力48 层中每 4 层才用 1 层全注意力使超长上下文建模既高效又精准高稀疏 MoE混合专家每层 512 个专家每个 token 仅激活 10 个专家加 1 个共享专家大幅降低单 token 计算量同时保留完整模型容量稳定性优化引入零中心化、带权重衰减的 LayerNorm 等技术让预训练与后训练更加稳健多 Token 预测MTP提升预训练质量并可直接加速推理生成。性能表现来自 README.md 官方数据对比维度Qwen3-Next-80B-A3B 表现与 Qwen3-235B-A22B-Instruct 对比多项基准打平256K 超长上下文任务优势显著编程 LiveCodeBench v656.6超越 235B 版51.8对齐 Arena-Hard v282.7全场最高数学推理 AIME2569.5逼近 235B 版的 70.3训练成本仅为同级基座模型的10% 注意该模型仅支持 instruct非思考模式输出中不会出现思考块适合追求响应速度的在线服务场景。模型核心规格一览完整参数定义见 config.json关键规格如下规格项数值模型类型因果语言模型Qwen3NextForCausalLM总参数 / 激活参数80B / 3B非嵌入参数 79B隐藏层维度2048层数与布局48 层 12 × (3 组 Gated DeltaNet→MoE 1 组 Gated Attention→MoE)MoE 专家数512 个激活 10 个 1 个共享专家上下文长度原生 262,144 tokens可扩展至约 1,010,000 tokens精度bfloat16词表大小151,936训练数据15T tokens 预训练后训练仓库文件结构说明本仓库是一个标准的 Hugging Face 模型仓库41 个model-XXXXX-of-00041.safetensors分片构成完整权重。各配置文件的作用如下文件作用README.md完整官方文档架构、基准、部署与最佳实践config.json模型架构配置层数、专家数、注意力头等generation_config.json推荐采样参数temperature0.7、top_p0.8、top_k20model.safetensors.index.json41 个权重分片的加载索引tokenizer.json / vocab.json / merges.txt分词器三件套含内置工具调用聊天模板LICENSEApache-2.0 开源协议可商用快速上手3 步在本地跑通模型第 1 步安装依赖。Qwen3-Next 的代码已合并进transformers主分支旧版本会报KeyError: qwen3_next务必使用最新开发版pip install githttps://github.com/huggingface/transformers.gitmain第 2 步下载模型权重。git clone https://gitcode.com/hf_mirrors/Qwen/Qwen3-Next-80B-A3B-Instruct第 3 步加载并生成。80B 参数建议使用多卡自动分配from transformers import AutoModelForCausalLM, AutoTokenizer model_name Qwen/Qwen3-Next-80B-A3B-Instruct tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, dtypeauto, device_mapauto ) messages [{role: user, content: Give me a short introduction to large language model.}] text tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) model_inputs tokenizer([text], return_tensorspt).to(model.device) generated_ids model.generate(**model_inputs, max_new_tokens16384) print(tokenizer.decode(generated_ids[0][len(model_inputs.input_ids[0]):], skip_special_tokensTrue))⚠️ MTP 加速在 Hugging Face Transformers 中暂不可用对吞吐有要求时建议改用下方的专用推理框架。️ 生产部署SGLang 与 vLLM 一键启动命令部署推荐使用 SGLang 或 vLLM两者都能启动 OpenAI 兼容 API并支持 MTP 推测解码加速。SGLang 部署步骤要求sglang0.5.2pip install sglang[all]0.5.2 python -m sglang.launch_server --model-path Qwen/Qwen3-Next-80B-A3B-Instruct \ --port 30000 --tp-size 4 --context-length 262144 --mem-fraction-static 0.8启用 MTP 加速时追加参数--speculative-algo NEXTN --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4vLLM 部署步骤要求vllm0.10.2pip install vllm0.10.2 vllm serve Qwen/Qwen3-Next-80B-A3B-Instruct --port 8000 \ --tensor-parallel-size 4 --max-model-len 262144启用 MTP 加速时追加参数--speculative-config {method:qwen3_next_mtp,num_speculative_tokens:2} 默认上下文为 256K若服务器启动失败可先把--context-length/--max-model-len降到32768再逐步调高。 256K 超长上下文如何扩展到 1M tokens官方已用 YaRN 方法验证了 100 万 token 上下文下的效果RULER 1M 基准平均分 91.8384K 处仍保持 86.9。两种启用方式方式一修改 config.json 增加字段rope_scaling: { rope_type: yarn, factor: 4.0, original_max_position_embeddings: 262144 }方式二启动时传参vLLM 示例VLLM_ALLOW_LONG_MAX_MODEL_LEN1 vllm serve ... \ --rope-scaling {rope_type:yarn,factor:4.0,original_max_position_embeddings:262144} \ --max-model-len 1010000 静态 YaRN 的缩放因子恒定可能对短文本性能有轻微影响仅在确需长上下文时再添加rope_scaling配置。若业务典型长度为 524K建议把factor调为 2.0。⚙️ 最佳实践推荐采样参数与输出长度官方推荐的生成参数已内置于 generation_config.json手动设置时建议保持一致采样参数Temperature0.7、TopP0.8、TopK20、MinP0可用presence_penalty0~2抑制重复但过高可能导致语言混杂输出长度多数问题预留16,384 tokens输出即可Agent 场景模型工具调用能力突出可结合 Qwen-Agent 框架通过 MCP 配置文件接入自定义工具评测规范数学题在 prompt 中加入 put your final answer within \boxed{}选择题要求以answer: C的 JSON 格式输出选项。❓ 常见问题 FAQQ1加载时报KeyError: qwen3_nexttransformers版本过旧升级到主分支最新开发版即可解决。Q2服务器启动失败、显存不足先把上下文长度从 262144 降到 32768确认能启动后再按需调高多卡时确保--tp-size与 GPU 数量匹配。Q3为什么不输出思考内容Instruct 版仅支持非思考模式这是设计如此可获得更快的首 token 响应。Q4MTP 能用在 transformers 里吗目前暂不支持需通过 SGLang / vLLM 的推测解码参数启用。Qwen3-Next-80B-A3B-Instruct 用混合注意力高稀疏 MoE MTP 的组合展示了小激活、大容量、长上下文的下一代大模型路线。无论是本地实验还是生产部署从上面的快速上手到一键启动命令你都已经具备了把它跑起来的完整知识。赞分享【免费下载链接】Qwen3-Next-80B-A3B-Instruct项目地址https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-Next-80B-A3B-Instruct点击查看免费下载相关推荐Qwen3-Next-80B-A3B-FP8混合架构重塑大模型效率边界Qwen3 Next 80B A3B FP8混合架构重塑大模型效率边界导语阿里达摩院推出的Qwen3 Next 80B A3B FP8大模型通过融合混合大模型人工智能深度学习Rover UI界面详解交互式基础设施图谱的使用技巧Rover UI界面详解交互式基础设施图谱的使用技巧 Rover是一款功能强大的Terraform可视化工具它通过交互式图谱帮助用户直观地理解和管理基础设施开发工具运维CANN Ascend C批量张量C获取APIGetBatchTensorCa nameZH CN_TOPIC_0000002061229326 /a 产品支持情况a namesection人工智能深度学习高性能计算CANN创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

Qwen3-Next-80B-A3B-Instruct重磅发布：下一代混合架构大模型完全指南

相关推荐

Poznote 快速上手：从首次登录到第一篇笔记的新手完整指南

AIBash：用自然语言生成命令行，提升终端操作效率

SystemVerilog类与对象核心解析：句柄、继承、多态及工程实践

更多资讯

WinForm 上传共享文件夹：SMB 凭据、流式复制与 1219 排错

信号分析与处理实验全解析：从时域到频域再到系统

Polymarket-bot DipArb 暴跌套利揭秘：3秒15%信号检测与双腿对冲的完整实现原理

从 Wan2.2 到 MLX：AnimeGen-I2V-A14B-Lightning-bf16 的 bf16 转换流程与键名映射实战复盘

Git 第八章：fetch 只更新 origin/*，pull 还要再合并一次

Python八股文速查PDF：核心概念高频问答与面试考点解析

今日更新

Verilog实现FPGA密码锁：矩阵键盘与状态机设计实战

数据服务监控运维实战：从指标体系到告警治理与故障排查

FreeRTOS任务通知实战详解：内核原理、API与避坑指南

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？