尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
Qwen-AgentWorld-35B-A3B-oQ4性能深度测评:1.8倍速度提升,内存占用仅1/3?数据告诉你真相
Qwen-AgentWorld-35B-A3B-oQ4性能深度测评1.8倍速度提升内存占用仅1/3数据告诉你真相【免费下载链接】Qwen-AgentWorld-35B-A3B-oQ4项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Qwen-AgentWorld-35B-A3B-oQ4Qwen-AgentWorld-35B-A3B-oQ4是基于Qwen/Qwen-AgentWorld-35B-A3B模型的oQ4数据驱动混合精度≈4.6 bpwMLX量化版本专为Apple Silicon打造可在mlx-lm、oMLX或任何MLX应用中运行。该模型在保持出色性能的同时显著降低了内存占用为用户带来高效的文本生成体验。模型基本信息Qwen-AgentWorld-35B-A3B-oQ4是由oMLX的quantize_oq_streaming工具生成的量化模型。它是Qwen-AgentWorld-35B-A3B的量化版本其兄弟版本包括oQ3.5更小更快≈3.5 bpw和bf16全精度。该模型为文本专用模型。基础检查点在config.json中声明了vision_config和MTP头但未提供视觉或mtp.*权重693个张量0个视觉张量0个MTP张量这两者都是从Qwen3.5基础继承的残余框架。此量化版本是忠实的语言模型未丢弃任何多模态内容。性能测试数据测试环境与方法性能测试使用oMLXAuto引擎在M5 Max40核GPU128 GB RAM上进行采用单请求方式。Qwen-AgentWorld-35B-A3B-oQ4性能数据Context (pp/tg)TTFTdecodeprefillpeak mem1024 / 128463 ms136 tok/s2213 tok/s20.1 GB4096 / 1281.18 s129 tok/s3469 tok/s20.8 GB8192 / 1282.19 s125 tok/s3733 tok/s21.2 GB32768 / 12811.5 s111 tok/s2844 tok/s23.2 GB连续批处理pp1024/tg1281×→136 · 2×→181 · 4×→252 · 8×→325 tok/s 聚合解码8个并发请求时达到2.40×。BF16源模型性能参考在相同设置下全精度的Qwen/Qwen-AgentWorld-35B-A3B性能数据如下 | Context (pp/tg) | TTFT | decode | prefill | peak mem | |---|---|---|---|---| | 1024 / 128 | 644 ms | 77 tok/s | 1591 tok/s | 65.6 GB | | 4096 / 128 | 1.68 s | 76 tok/s | 2434 tok/s | 66.4 GB | | 8192 / 128 | 2.39 s | 75 tok/s | 3428 tok/s | 66.7 GB | | 32768 / 128 | 12.0 s | 67 tok/s | 2730 tok/s | 68.7 GB |性能对比结论通过对比可以清晰地看到oQ4在单请求解码吞吐量上达到了约1.8倍而内存占用仅为原来的约1/320 GB对比66 GB并且在8路批处理下可扩展到2.40倍。这意味着在相同的硬件条件下Qwen-AgentWorld-35B-A3B-oQ4能够处理更多的任务同时保持高效的运行速度。准确性快速参考为了对模型的质量保留情况有一个大致了解进行了快速的非代表性sanity检查——每个基准测试100个问题样本启用思考模式通过oMLX的准确性基准测试运行。虽然样本量不足以得出确凿结论但能大致了解不同精度下的质量保留情况。BenchmarkBF16oQ4oQ3.5MathQA85.0%84.0%83.0%MMLU-Pro76.0%77.0%72.0%在这个样本量下oQ4与BF16源模型的差距在≈1个百分点以内在MMLU-Pro上甚至略高——100个问题时的误差表明Qwen-AgentWorld-35B-A3B-oQ4在量化过程中较好地保留了模型的准确性。模型使用方法使用以下命令即可运行Qwen-AgentWorld-35B-A3B-oQ4模型mlx_lm.generate --model mlx-community/Qwen-AgentWorld-35B-A3B-oQ4 \ --system-prompt You are a language world model simulating a Linux terminal. Given the users command, predict the terminal output. \ --prompt $Action: execute_bash\nCommand: ls -la /home/user/project/ \ --max-tokens 512 --temp 0.6该模型默认使用思考模式/think.../RichMediaReference。推荐的采样参数为temperature0.6top_p0.95top_k20。有关七个智能体领域和特定领域系统提示请参见基础模型卡片。总结Qwen-AgentWorld-35B-A3B-oQ4作为一款高效的量化模型在性能和内存占用方面表现出色。1.8倍的速度提升和仅1/3的内存占用使其在Apple Silicon设备上具有很强的实用性。同时其准确性也较好地保留了源模型的水平是文本生成任务的理想选择。无论是个人用户还是企业应用都能从该模型中获得高效、经济的文本生成能力。如果你正在寻找一款性能优异且资源消耗低的语言模型Qwen-AgentWorld-35B-A3B-oQ4绝对值得一试【免费下载链接】Qwen-AgentWorld-35B-A3B-oQ4项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Qwen-AgentWorld-35B-A3B-oQ4创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

实战:基于GAN与Lab色彩空间的灰度图像智能着色系统(PyTorch+OpenCV)

实战:基于GAN与Lab色彩空间的灰度图像智能着色系统(PyTorch+OpenCV)

1. 项目背景与核心思路 给黑白照片上色这件事,听起来像是魔法,但背后的原理其实非常有趣。想象一下你小时候用的填色本——AI做的事情也差不多,只不过它通过学习成千上万张彩色照片,自己总结出了"天空该用蓝色""树…

📅 2026/8/20 20:40:06
为什么选择secPaver?揭秘开源安全策略生成器的核心优势

为什么选择secPaver?揭秘开源安全策略生成器的核心优势

为什么选择secPaver?揭秘开源安全策略生成器的核心优势 【免费下载链接】secpaver Security policy development tool 项目地址: https://gitcode.com/openeuler/secpaver 前往项目官网免费下载:https://ar.openeuler.org/ar/ secPaver是一款由o…

📅 2026/8/20 20:40:06
14ms极速响应:Namo Turn Detector v1 - Korean实时对话处理的终极优化指南

14ms极速响应:Namo Turn Detector v1 - Korean实时对话处理的终极优化指南

14ms极速响应:Namo Turn Detector v1 - Korean实时对话处理的终极优化指南 【免费下载链接】Namo-Turn-Detector-v1-Korean 项目地址: https://ai.gitcode.com/hf_mirrors/videosdk-live/Namo-Turn-Detector-v1-Korean 在当今实时对话AI应用中,准…

📅 2026/8/20 20:40:06
MORE NEWS

更多资讯

📰

Java空指针异常(NPE)全解析:从原理到防御,一篇看懂

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

提示词工程实战指南:从零搭建可复用的模板库

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

基于误差四元数的垂直发射导弹姿态调转控制与MATLAB仿真

简介:面向导弹工程、自动化及相关专业的MATLAB仿真资料包,聚焦误差四元数战术导弹垂直发射姿态调转控制问题。资料以四元数姿态表达为基础,讲解误差四元数控制律设计、初始姿态设定、姿态调整命令与误差传播等关键环节,并结合导弹…

📰

Spring Boot+MySQL线上教学平台开发实践

简介:这是一份基于Spring Boot与MySQL的线上教学平台完整毕业设计课程设计资源,面向计算机相关专业学生,提供可直接运行验证的项目全套内容。平台覆盖学员管理、课程发布、学习资料、交流论坛、试卷考试、留言板、系统管理等核心模块&#xf…

📰

战棋关卡设计的核心是决策逻辑,而非网格布局

1. 为什么战棋关卡设计不能从“画格子”开始? 很多人一听说要做战棋游戏,第一反应就是打开编辑器,拖出一张1010的网格地图,放几个树林、山丘、河流,再塞几队小兵进去——然后发现:打起来索然无味&#xff0…

📰

PeakTech P1245台式示波器:面向产线、教学与维修的实战型中端选择

1. 这台“P1245”不是玩具,是能扛起产线调试、教学演示和维修诊断三块硬骨头的台式示波器PeakTech台式示波器P1245——光看型号名,很多人第一反应是“又一个德国牌子?”,但实际它背后是德国PeakTech公司深耕电子测试仪器领域三十多…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬