如何用llama.cpp、Ollama和LM Studio部署Qwen3.5-35B-A3B-GGUF：3种本地推理方案手把手教程-北京尧图网络

【免费下载链接】Qwen3.5-35B-A3B-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/Qwen3.5-35B-A3B-GGUF点击查看免费下载Qwen3.5-35B-A3B-GGUF 是 Unsloth 出品的 Qwen3.5-35B-A3B 多模态 MoE 大模型 GGUF 量化权重覆盖 Q2 到 Q8 全档位量化并附带 mmproj 视觉投影文件。本文将手把手带你用llama.cpp、Ollama、LM Studio三种主流方案完成本地部署选对量化版本 → 一条命令跑通推理 → 开启 API 服务与多模态全程可直接复制命令无需深厚基础。一、先认识一下 Qwen3.5-35B-A3B为什么它适合本地部署Qwen3.5-35B-A3B 是 Qwen3.5 系列中「高性价比」成员核心规格如下完整参数见 config.json关键指标数值对你的意义总参数量 / 激活参数35B /仅 3B稀疏 MoE每 token 只激活 3B 参数推理快专家结构256 个专家激活 8 路由 1 共享混合 Gated DeltaNet 线性注意力全注意力架构上下文长度原生 262,144 tokens长文档、长对话轻松胜任多模态支持图像/视频输入需搭配仓库中的 mmproj 视觉投影文件语言覆盖201 种语言与方言中文场景表现优异关键点因为每个 token 只激活 3B 参数即使没有顶级显卡纯 CPU 也能获得流畅的生成速度——这是它成为本地部署热门选手的根本原因。更详细的技术背景可阅读仓库内的 README.md。二、下载前必做3 步挑对量化版本仓库内提供了 Qwen3.5-35B-A3B-Q4_K_M.gguf、Qwen3.5-35B-A3B-Q8_0.gguf 等 20 种量化版本。所有 GGUF 均基于 imatrix_unsloth.gguf_file 的 imatrix 校准数据量化精度在同档位中表现突出。内存速查表大小为近似参考值以仓库实际文件为准量化档位文件大小约建议可用内存适用场景BF16BF16/ 目录共 2 个分片~70 GB128 GB 或多卡精度极限、研究用途Q8_0~36 GB64 GB追求最高精度Q6_K~27 GB48 GB高精度日常使用Q5_K_M~24 GB40 GB精度与速度均衡⭐ Q4_K_M~21 GB32 GB新手首选综合最优Q3_K_S~16 GB24 GB内存有限的机器UD-IQ2_XXS~12 GB16 GB极限低内存试水建议内存 ≥ 32 GB 直接选 Q4_K_M24 GB 以内选 Q3_K_S 或 UD-IQ2_M有 48 GB 以上显存/内存再考虑 Q6_K / Q8_0。如果只想下载单个版本建议在仓库文件列表中直接下载对应文件无需 clone 整个仓库若使用 git 方式获取git clone https://gitcode.com/hf_mirrors/unsloth/Qwen3.5-35B-A3B-GGUF多模态提醒需要看图/看视频时请同时下载一个视觉投影文件例如 mmproj-F16.gguf与 mmproj-BF16.gguf、mmproj-F32.gguf 三选一F16 体积适中是默认推荐纯文本使用则完全不需要。三、方案一llama.cpp 部署最灵活官方推荐llama.cpp 是 GGUF 生态的事实标准对 Qwen3.5 的新架构支持最及时。1. 安装最新版 llama.cpp到 llama.cpp 的 Releases 页面下载对应系统的预编译包解压即可或按官方文档从源码构建。装好后用llama-cli --version验证。⚠️ 请务必使用最新版本旧版本不支持 Qwen3.5 的 Gated DeltaNet MoE 混合架构。2. 一条命令进入交互对话把量化文件放在 llama.cpp 可访问的目录后llama-cli -m Qwen3.5-35B-A3B-Q4_K_M.gguf --jinja -cnv--jinja会加载模型内置的官方对话模板含思考模式处理-cnv进入多轮会话。看到提示符后直接输入问题即可。3. 启动 OpenAI 兼容 API 服务想让其他工具接入本地模型一条命令即可llama-server -m Qwen3.5-35B-A3B-Q4_K_M.gguf -c 16384 --host 0.0.0.0 --port 8080服务启动后任意支持 OpenAI API 的客户端把 base url 指向http://localhost:8080/v1就能用了。4. 两个高频需求关闭思考模式 / 启用视觉Qwen3.5 默认开启思考模式先输出推理过程再回答。快速问答场景可以关闭以提速llama-server -m Qwen3.5-35B-A3B-Q4_K_M.gguf --jinja \ --chat-template-kwargs {enable_thinking:false}启用图像理解时加上--mmproj指定视觉投影文件llama-cli -m Qwen3.5-35B-A3B-Q4_K_M.gguf --mmproj mmproj-F16.gguf --jinja -cnv5. 有 NVIDIA 显卡把计算层交给 GPUllama-server -m Qwen3.5-35B-A3B-Q4_K_M.gguf -c 16384 -ngl 99-ngl 99表示尽量把层放到 GPU。35B 总参数意味着权重仍需完整放入显存/内存显存不足时可减小-ngl做 CPUGPU 混合推理MoE 架构下混合模式速度依然可观。四、方案二Ollama 部署最简单一条命令Ollama 适合「装完就用」的用户管理多个模型也很方便。1. 安装并验证从 Ollama 官网下载安装包安装后执行ollama --version2. 用本地 GGUF 创建模型Ollama 可以直接从本地 GGUF 文件导入。在模型目录新建一个Modelfile文件名随意FROM ./Qwen3.5-35B-A3B-Q4_K_M.gguf PARAMETER num_ctx 16384然后创建并运行ollama create qwen35-35b -f Modelfile ollama run qwen35-35b看到对话提示符即部署成功直接聊天即可。3. 常用管理命令ollama list # 查看已安装的模型 ollama rm qwen35-35b # 删除模型Ollama 默认在11434端口提供 OpenAI 兼容 API其他应用可以直接对接。需要多模态时可在Modelfile中追加PARAMETER之外的FROM之外的视觉配置或改走 llama.cpp 方案对 mmproj 支持更直接。五、方案三LM Studio 部署零命令行图形界面LM Studio 是面向新手的图形化本地推理工具全程鼠标操作。1. 导入模型从 LM Studio 官网下载安装包并安装打开后在左侧「模型」面板点击导入选中本地下载的Qwen3.5-35B-A3B-Q4_K_M.gguf或直接在搜索栏搜索 Qwen3.5-35B-A3B GGUF 从社区下载导入完成后在「聊天」面板加载该模型。2. 关键参数设置参数推荐值说明Context Length8192 ~ 16384内存紧张就先调小够用即可Temperature1.0思考模式下官方推荐值Top-p0.95配合 temperature 使用Presence Penalty1.5有效减少复读最大输出长度32768官方建议的常规输出长度3. 开启多模态在导入本地文件时LM Studio 支持同时选择模型 GGUF 与对应的 mmproj 视觉文件如mmproj-F16.gguf之后在聊天框中即可直接发送图片提问。六、3 种方案怎么选一图看懂维度llama.cppOllamaLM Studio上手难度中等⭐ 最简单⭐ 最简单灵活度 / 参数控制⭐⭐⭐ 最强中等较丰富多模态mmproj支持⭐ 原生支持有限支持OpenAI 兼容 API⭐ 有有有适合人群开发者、想精细调优想快速用起来纯图形界面用户七、常见问题与调优技巧❓报错 Out of Memory / 加载失败换更小的量化如 Q4_K_M → Q3_K_S并调小上下文-c/num_ctx。官方建议若遇 OOM 可缩减上下文但为保证思考能力尽量不低于 128K内存足够时。❓生成速度慢MoE 模型速度瓶颈在内存带宽。优先选 32 GB 内存机器跑 Q4_K_M有 N 卡就用-ngl 99全量上卡长思考会拉长单次响应时间日常问答可关闭思考模式。❓回答开始「复读」或语言混杂把presence_penalty调到 1.5范围 0~2一般即可消除该值过高可能轻微影响表现。❓输出被截断、回答不完整把最大输出长度提到 32768数学/竞赛类复杂题目可提到 81920给模型留足推理空间。❓想要更长的上下文262K可参考 README.md 中的 YaRN RoPE 缩放方案原生 262,144 tokens 之外最高可扩展到约 1,010,000 tokens但需要相应框架vLLM/SGLang 等支持。最后总结内存 32 GB 以上的机器选Q4_K_M llama.cpp是本地部署 Qwen3.5-35B-A3B 的黄金组合图省事选 Ollama 或 LM Studio 同样一条路跑通。全部权重文件、量化说明与最佳实践均以仓库内 README.md 与 config.json 为准祝你的本地大模型早日跑起来赞分享【免费下载链接】Qwen3.5-35B-A3B-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/Qwen3.5-35B-A3B-GGUF点击查看免费下载相关推荐3步搞定HERO-35B-A3B-i1-GGUF本地部署Ollama与llama.cpp快速上手指南3步搞定HERO 35B A3B i1 GGUF本地部署Ollama与llama.cpp快速上手指南 HERO 35B A3B i1 GGUF 是 HERO如何快速上手Qwen3.8-Flash-Next-GGUFllama.cpp、Ollama、LM Studio等4种方法5分钟部署教程如何快速上手Qwen3.8 Flash Next GGUFllama.cpp、Ollama、LM Studio等4种方法5分钟部署教程想在自己电脑上本地运行Turbo 仓库中 oxc 符号链接symlink解析缺陷的复现与排查pnpm 嵌套符号链接场景深入分析Turbo 仓库中 oxc 符号链接symlink解析缺陷的复现与排查pnpm 嵌套符号链接场景深入分析本篇文章以 Turborepo 仓库内集成测试夹上一篇Qwen3.5-4B Claude无审查模型实战Huihui-Qwen3.5-4B-Claude-4.6-Opus-abliterated完整使用指南下一篇零门槛旧Mac升级macOSOpenCore Legacy Patcher 从安装到原理全解创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

如何用llama.cpp、Ollama和LM Studio部署Qwen3.5-35B-A3B-GGUF：3种本地推理方案手把手教程

相关推荐

从零手写朴素贝叶斯：糖尿病预测实战与避坑指南

人工智能读书报告：从搜索与知识表示看AI发展史

LangChain核心组件与实战：从RAG到Agent的大模型编排指南

更多资讯

LangChain实战指南：从核心抽象到企业知识库问答落地

Lambda架构实战：批处理与流处理融合的实时数据平台设计

Spring Boot招聘数据可视化系统开发实战：从数据采集到可视化大屏

AI生成PPT效率提升300%：职场人必看的Aipy实操指南

d3dx9_42.dll丢失怎么办？官方DirectX运行库修复方法详解

PFC2D热力耦合岩石热损伤模拟：从颗粒流代码到参数标定

今日更新

悟空开源无代码平台实战：从实体建模到应用设计避坑指南

基于.NET9的多租户权限系统：数据权限与动态API落地实践

场地预约小程序毕设实战：SSM+微信小程序+MySQL数据库设计到避坑

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？