mlx_lm 三行代码加载 Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B：本地推理快速上手指南-北京尧图网络

【免费下载链接】Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B点击查看免费下载Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B 是一款面向 Apple Silicon 的 MLX 量化 MoE 大模型磁盘占用仅13.8 GB通过mlx_lm只需三行代码即可在本地跑起推理。本指南覆盖安装、加载、生成与仓库文件速览帮助新手 10 分钟完成本地推理全流程。模型简介REAP 剪枝 4bit 量化它瘦身了多少这个模型是在mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit基础上做了MoE 专家剪枝得到的REAP 剪枝每层 256 个路由专家只保留 128 个剪掉 50%按路由权重 × 专家输出范数的均值排名剔除得分最低的部分见 README.mdOptiQ 4bit 混合精度量化敏感层保持 8bit、其余 4bit目标 4.5 bpw实际达成 4.506 bpw记录在 optiq_metadata.json保真原则留下的专家从父模型逐位拷贝不反量化、不重训、不融合与父模型的核心数据对比指标父模型 (23.0 GB)本模型变化磁盘占用23.0 GB13.8 GB−40%峰值内存24.5 GB11.6 GB−53%总参数35.1B18.8B−47%解码速度47.054.7更快 ⚡能力分80.0376.57−3.47 名字里的A3B指每个 token 约激活 3B 参数。剪枝后 top-8 路由不变每 token 激活参数不变——所以它变小但没变慢解码速度反而更高。环境准备安装 mlx_lm 与硬件要求硬件要求Apple SiliconM 系列芯片。峰值内存约11.6 GB因此✅ 16 GB 统一内存可运行建议预留其他应用空间✅ 24 GB 及以上运行舒适长文本更从容安装推理库一行命令pip install mlx-lm首次加载模型时会自动下载约 13.8 GB 的权重到本地缓存之后完全离线可用无需再次联网。最快上手mlx_lm 三行代码加载并生成打开 Python或新建一个.py文件只需三行from mlx_lm import load, generate model, tok load(mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B) print(generate(model, tok, prompt你好请用一句话介绍你自己, max_tokens128))逐行说明行作用第 1 行导入load加载模型和generate生成文本第 2 行按仓库 ID 加载模型与分词器自动下载并缓存若已下载到本地目录直接传本地路径也可第 3 行传入提示词并限制最多生成 128 个 token打印结果生成参数方面模型自带默认采样配置定义在 generation_config.json 中temperature: 0.7、top_k: 20、top_p: 0.8、presence_penalty: 1.5这些值会由mlx_lm自动读取新手无需手动设置即可得到稳定输出。需要更长的回答时把max_tokens调大即可。多轮对话模型内置了对话模板 chat_template.jinja支持图片/视频 token 与工具调用qwen3_coder解析器分词器最大上下文达262144 token见 tokenizer_config.json。配合mlx_lm的 chat 模式即可开启多轮对话。️ 进阶玩法一条命令启动本地服务不想写 Python 的话用 README.md 中的optiq serve方式一条命令起服务pip install mlx-optiq optiq serve --model mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B适合想在本机做开发调试、给其他应用提供补全接口的用户。仓库文件解读每个文件都是干什么的下载或浏览仓库时各文件分工如下文件作用README.md模型卡性能对比、剪枝方法说明config.json模型结构配置qwen3_5_moe架构、4/8bit 量化布局generation_config.json采样参数temperature、top_k 等kv_config.json各层 KV 缓存量化位宽4bit/8bit 混用降低长文本内存占用optiq_metadata.jsonOptiQ 量化元数据方法、目标/实际 bpwmodel-00001-of-00003.safetensors、model-00002-of-00003.safetensors、model-00003-of-00003.safetensors模型权重分片共 3 片合计约 13.8 GBmodel.safetensors.index.json权重分片索引加载器据此定位参数optiq/mtp.safetensorsMTP多 token 预测侧载权重用于加速解码optiq/optiq_vision.safetensors视觉塔权重支撑图像理解能力chat_template.jinja对话模板消息格式、图文混排、工具调用tokenizer_config.json分词器配置最大上下文 262144、特殊 token 等权重本体全部是safetensors格式加载时按分片流式读取不会一次性把 13.8 GB 塞进临时目录。能力对比剪枝的代价与收益六项基准测试对比父模型数据来自 README.md基准父模型本模型Δ说明MMLU83.762.3−21.4知识问答是主要损失GSM8K87.990.52.6数学反而提升IFEval72.676.94.3指令遵循提升BFCL-V392.591.5−1.0工具调用基本持平HumanEval91.590.2−1.3代码能力几乎无损HashHop52.048.0−4.0长程推理小幅下降结论如果你主要用它写代码、调工具、做日常问答和数学推理13.8 GB 的体积几乎感受不到差距若高度依赖纯知识记忆类问答则需权衡。❓ 常见问题 FAQQ1名字里的 19B 和 README 里的 18.8B 不一致剪枝后总参数为 18.8B仓库名按约数取整为 19B指同一个模型。Q2为什么变小了速度反而更快top-8 路由不变每 token 激活参数不变专家库变小后访存更友好解码速度从 47.0 提升到 54.7。Q316 GB 内存的 Mac 能跑吗能。峰值内存约 11.6 GB留 4~5 GB 给系统和上下文即可长对话建议 24 GB 机型。Q4支持完全离线使用吗支持。首次自动下载完成后加载与推理全程在本地完成。✅ 小结用pip install mlx-lm装好环境再粘贴三行load generate代码你就在 Apple Silicon 上跑起了一个 13.8 GB 的高性能 MoE 大模型——体积减半、内存减半、速度还更快这就是 Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B 的本地推理体验。赞分享【免费下载链接】Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B点击查看免费下载相关推荐IsaacLab 关节体配置详解如何编写 ArticulationCfg 并配置 Spawn、初始状态与执行器IsaacLab 关节体配置详解如何编写 ArticulationCfg 并配置 Spawn、初始状态与执行器本篇指南系统讲解在 IsaacLab 中编写资Open-Meteo 免费天气 API 上手指南从一条 curl 到自己的私有实例Open Meteo 免费天气 API 上手指南从一条 curl 到自己的私有实例你不需要注册账号也不需要申请 API Key就能拿到柏林未来 24 小Agent Substrate的不可变ActorTemplate版本管理与状态根的正确打开方式Agent Substrate的不可变ActorTemplate版本管理与状态根的正确打开方式 Agent Substrate 是一个为自主 Agent 而生上一篇OpenDots Spaces实战用可视化编辑器、斜杠命令和自动保存构建AI文档工作区下一篇yoinks对比浏览器下载器为什么终端方案更干净可靠创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

mlx_lm 三行代码加载 Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B：本地推理快速上手指南

相关推荐

ClickHouse .NET 驱动程序新特性：从 1.0 到 1.3 的演进之路

TF-IDF+Logistic回归：情感分类Baseline的完整实战解析

YOLO实战：混凝土裂缝检测从数据集构建到模型部署全流程解析

更多资讯

哥德巴赫猜想验证：嵌入式级素数判定与输入安全实践

2025银发产业分水岭：新老人需求、政策赋能与五大赛道机会

不改正极、不加新添加剂，几个电解液配比就把富锂锰基正极的锰溶解压掉63%

俳句翻译实战拆解：从17音、季语到切れ字的基本功

ssrf跨站请求伪造（保姆级教程）

Spring Boot+Java民族婚纱预定系统：档期锁与定金支付实战

今日更新

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？