进阶DIY教程：用随仓库发布的imatrix，一条命令自制Tiel-Coder-35B-A3B-GGUF-MTP任意量化版本-北京尧图网络

【免费下载链接】Tiel-Coder-35B-A3B-GGUF-MTP项目地址https://ai.gitcode.com/hf_mirrors/peculiar-ragdoll/Tiel-Coder-35B-A3B-GGUF-MTP点击查看免费下载本教程面向新手介绍如何用 Tiel-Coder-35B-A3B-GGUF-MTP 仓库随附的 imatrix 重要性矩阵仅用一条llama-quantize命令自制任意档位Q4_K_XL、IQ4_XS、Q5_K_XL、Q8_0 等的 GGUF 量化版本。Tiel 是基于 Ornith-1.5-35B-A3B 的 MoE 编码模型24 GB 显卡跑 4-bit 档即可在 SWE-bench-Live 上修复 25 个真实代码库问题中的 12 个并自带 MTP 多 token 预测头用于推理加速。为什么值得 DIY 一个量化版本官方仓库虽然已提供从 Q2_K_XL 到 Q8_K_XL 的 9 个现成档位但如果你想要一个没有被发布的组合——更紧凑的 IQ4_XS、接近无损的 Q8_0 参考档或自己的格式组合——自己量化只需一条命令。关键前提是仓库直接发布了作者亲手测出的 imatrix 重要性矩阵183 MiB、510 个张量imatrix 是什么量化前用校准语料在模型上跑一遍前向计算记录每个张量的重要程度量化时重要张量少损失、次要张量多压缩从而在相同体积下保留更多能力。这份 imatrix 的规格4900 万字符校准语料约 3/4 代码数据 1/4 混合数据保留数学、工具调用与多语言样本在 Q8_0 权重上按 512 token 切块、共 3000 块约 150 万 token测得。这个 256 专家 MoE 每个 token 只路由 8 个专家语料必须足够长才能让每个专家都被充分覆盖。省下的成本自己测一份 imatrix 约需一个半小时直接用官方这份量化即开即跑。完整配方说明见 README.md 的 imatrix 章节。先选目标格式官方档位速查DIY 之前先想清楚要量化成哪个格式。下表是官方 MTP 版的体量与内存参考fits 指你的RAM VRAM 合计可用空间扣除系统与后台进程后量化文件大小建议内存定位Tiel-Coder-35B-A3B-MTP-UD-IQ3_XXS.gguf14.1 GB16 GB16 GB 之选比 Q2 明显更好Tiel-Coder-35B-A3B-MTP-UD-IQ4_XS.gguf18.6 GB24 GB4-bit 中上下文余量最大Tiel-Coder-35B-A3B-MTP-UD-Q4_K_XL.gguf23.3 GB24–32 GB基准档位新手起步推荐Tiel-Coder-35B-A3B-MTP-UD-Q5_K_XL.gguf27.5 GB32 GB32 GB 之选Tiel-Coder-35B-A3B-MTP-UD-Q8_K_XL.gguf39.4 GB48 GB参考级精度官方建议只要能模型上下文 KV放进 RAMVRAM就优先选 Q4 及以上档位并保留 131k–262k 的大上下文MoE 架构下 262k 上下文、16-bit KV 也只需不到 5 GB 内存而不是单纯为塞进显存降到 Q2。⚡ 一条命令自制任意量化版本核心步骤第 1 步下载官方随仓库发布的 imatrixhf download peculiar-ragdoll/Tiel-Coder-35B-A3B-GGUF Tiel-Coder-35B-A3B.imatrix.gguf --local-dir .第 2 步准备 BF16 源模型拿到上游 Ornith-1.5-35B-A3B 的 BF16 GGUF约 70 GB注意磁盘空间放在同目录。第 3 步带 imatrix 执行量化llama-quantize --imatrix Tiel-Coder-35B-A3B.imatrix.gguf Ornith-1.5-35B-BF16.gguf out.gguf Q4_K_XL把末尾的格式参数换成你想要的档位即可参数值特点Q4_K_XL24–32 GB 起步档官方基准就基于它IQ4_XS4-bit 中上下文余量最大Q5_K_XL/Q6_K_XL32 / 48 GB 高保真选择Q8_0参考级精度⚠️ 说清楚它不是什么官方 UD-* 档位是在这份 imatrix 之上叠加了逐张量 Dynamic 配方并内置 Sharp 聊天模板普通llama-quantize产物两者都不含出处README.md。日常使用差距很小追求与官方逐字节一致才需要复刻完整配方。跑起来并开启 MTP 多 token 预测加速llama-server -m out.gguf -ngl 99 --jinja --spec-type draft-mtp--spec-type draft-mtp会让 MTP 头真正开始工作不加该参数时 MTP 张量完全不生效DIY 版同样包含 MTP 头它就在上游 BF16 权重里量化后照常随文件保存。视觉能力使用仓库共享的 mmproj-BF16.gguf。采样参数temperature 1.0、top_p 0.95、top_k 20agent 编码场景官方使用temperature 0.6。想压榨性能就扫一下两个旋钮--spec-draft-n-max每步草拟多少 token与--spec-draft-p-min低于该概率的草拟直接丢弃。注意以 tok/s 而非接受率判断——官方实测最佳组合比关闭 MTP 快 22%而接受率最高的组合反而更慢细节见 README.md 的扫参表。❓ 常见问题QDIY 版和官方 UD-档的 MTP 头有区别吗* 有。官方 MTP 版把 MTP 头固定在约 0.9 GB 的独立精度每个档位同一精度DIY 版则跟随目标档位位宽一起量化日常体验差异很小。Q16 GB 内存该 DIY 哪个格式优先IQ3_XXS14.1 GB比 Q2_K_XL 多不到 1 GB 但能力差距明显Q2 只算最后手段。Q量化命令报错或产物异常确认 imatrix 与 BF16 源文件来自同一模型系列imatrix 必须与源模型结构一致才能生效混用不同模型的 imatrix 会导致结果不可用。Q官方档和 DIY 档怎么选内存正好落在官方档位上 → 直接下载官方文件更省事需要非发布格式、或想理解量化原理 → 用本教程一条命令自制。赞分享【免费下载链接】Tiel-Coder-35B-A3B-GGUF-MTP项目地址https://ai.gitcode.com/hf_mirrors/peculiar-ragdoll/Tiel-Coder-35B-A3B-GGUF-MTP点击查看免费下载相关推荐Tiel-Coder-35B-A3B-GGUF-MTP量化原理揭秘:4900万字符imatrix与Unsloth Dynamic如何保住Q4精度Tiel Coder 35B A3B GGUF MTP量化原理揭秘:4900万字符imatrix与Unsloth Dynamic如何保住Q4精度 Tiel Co10分钟跑通Tiel-Coder-35B-A3B-GGUF-MTP从下载到llama-server部署的入门完整教程10分钟跑通Tiel Coder 35B A3B GGUF MTP从下载到llama server部署的入门完整教程 Tiel Coder 35B A3B GTiel-Coder-35B-A3B-GGUF-MTP量化版本选择指南Q2到Q8共9档GGUF显存与内存怎么配才不花冤枉钱Tiel Coder 35B A3B GGUF MTP量化版本选择指南Q2到Q8共9档GGUF显存与内存怎么配才不花冤枉钱 Tiel Coder 35B A创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

进阶DIY教程：用随仓库发布的imatrix，一条命令自制Tiel-Coder-35B-A3B-GGUF-MTP任意量化版本

相关推荐

AI Agent核心能力全解析：规划、记忆与工具调用如何让机器真正“活”起来

YOLOv5+ArcFace人脸检测与识别联合流水线实战

全国天气数据采集：从爬虫脚本到可复用数据管道的工程化实践

更多资讯

ASP.NET WebForms 入门实战：30分钟跑通登录页

Flutter跨端实战：OpenHarmony智能穿搭推荐应用开发全记录

Postman 直连 MySQL：用 xmysql 自动生成 REST 接口调试数据库

大模型可观测与评测闭环：Langfuse+LangSmith+OTel实战

Claude Sonnet 4.5 编程新王降临：30小时持续编码、0%错误率，TaoToken 统一 Key 接入 Claude Code 实测

TPS54201低输入电压hiccup误触发，PNP三极管补偿方案解析

今日更新

NetSpot 实战：用信道分析与频宽优化解决 Wi-Fi 卡顿

C++ split() 字符串分割的五种实现与性能实测

R语言坐标轴范围设置：从xlim/ylim到coord_cartesian的完整指南

本周精选

交通拥堵预测毕设：基于Python+LSTM的车辆流量预测系统全流程解析

MATLAB/Simulink搭建10机39节点电力系统暂态稳定仿真实战

无人机航拍三维重建全流程：从SfM到网格生成的避坑指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？