尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
Qwen-AgentWorld-35B-A3B-oQ4性能深度测评:1.8倍速度提升,内存占用仅1/3?数据告诉你真相
Qwen-AgentWorld-35B-A3B-oQ4性能深度测评1.8倍速度提升内存占用仅1/3数据告诉你真相【免费下载链接】Qwen-AgentWorld-35B-A3B-oQ4项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Qwen-AgentWorld-35B-A3B-oQ4Qwen-AgentWorld-35B-A3B-oQ4是基于Qwen/Qwen-AgentWorld-35B-A3B模型的oQ4数据驱动混合精度≈4.6 bpwMLX量化版本专为Apple Silicon打造可在mlx-lm、oMLX或任何MLX应用中运行。该模型在保持出色性能的同时显著降低了内存占用为用户带来高效的文本生成体验。模型基本信息Qwen-AgentWorld-35B-A3B-oQ4是由oMLX的quantize_oq_streaming工具生成的量化模型。它是Qwen-AgentWorld-35B-A3B的量化版本其兄弟版本包括oQ3.5更小更快≈3.5 bpw和bf16全精度。该模型为文本专用模型。基础检查点在config.json中声明了vision_config和MTP头但未提供视觉或mtp.*权重693个张量0个视觉张量0个MTP张量这两者都是从Qwen3.5基础继承的残余框架。此量化版本是忠实的语言模型未丢弃任何多模态内容。性能测试数据测试环境与方法性能测试使用oMLXAuto引擎在M5 Max40核GPU128 GB RAM上进行采用单请求方式。Qwen-AgentWorld-35B-A3B-oQ4性能数据Context (pp/tg)TTFTdecodeprefillpeak mem1024 / 128463 ms136 tok/s2213 tok/s20.1 GB4096 / 1281.18 s129 tok/s3469 tok/s20.8 GB8192 / 1282.19 s125 tok/s3733 tok/s21.2 GB32768 / 12811.5 s111 tok/s2844 tok/s23.2 GB连续批处理pp1024/tg1281×→136 · 2×→181 · 4×→252 · 8×→325 tok/s 聚合解码8个并发请求时达到2.40×。BF16源模型性能参考在相同设置下全精度的Qwen/Qwen-AgentWorld-35B-A3B性能数据如下 | Context (pp/tg) | TTFT | decode | prefill | peak mem | |---|---|---|---|---| | 1024 / 128 | 644 ms | 77 tok/s | 1591 tok/s | 65.6 GB | | 4096 / 128 | 1.68 s | 76 tok/s | 2434 tok/s | 66.4 GB | | 8192 / 128 | 2.39 s | 75 tok/s | 3428 tok/s | 66.7 GB | | 32768 / 128 | 12.0 s | 67 tok/s | 2730 tok/s | 68.7 GB |性能对比结论通过对比可以清晰地看到oQ4在单请求解码吞吐量上达到了约1.8倍而内存占用仅为原来的约1/320 GB对比66 GB并且在8路批处理下可扩展到2.40倍。这意味着在相同的硬件条件下Qwen-AgentWorld-35B-A3B-oQ4能够处理更多的任务同时保持高效的运行速度。准确性快速参考为了对模型的质量保留情况有一个大致了解进行了快速的非代表性sanity检查——每个基准测试100个问题样本启用思考模式通过oMLX的准确性基准测试运行。虽然样本量不足以得出确凿结论但能大致了解不同精度下的质量保留情况。BenchmarkBF16oQ4oQ3.5MathQA85.0%84.0%83.0%MMLU-Pro76.0%77.0%72.0%在这个样本量下oQ4与BF16源模型的差距在≈1个百分点以内在MMLU-Pro上甚至略高——100个问题时的误差表明Qwen-AgentWorld-35B-A3B-oQ4在量化过程中较好地保留了模型的准确性。模型使用方法使用以下命令即可运行Qwen-AgentWorld-35B-A3B-oQ4模型mlx_lm.generate --model mlx-community/Qwen-AgentWorld-35B-A3B-oQ4 \ --system-prompt You are a language world model simulating a Linux terminal. Given the users command, predict the terminal output. \ --prompt $Action: execute_bash\nCommand: ls -la /home/user/project/ \ --max-tokens 512 --temp 0.6该模型默认使用思考模式/think.../RichMediaReference。推荐的采样参数为temperature0.6top_p0.95top_k20。有关七个智能体领域和特定领域系统提示请参见基础模型卡片。总结Qwen-AgentWorld-35B-A3B-oQ4作为一款高效的量化模型在性能和内存占用方面表现出色。1.8倍的速度提升和仅1/3的内存占用使其在Apple Silicon设备上具有很强的实用性。同时其准确性也较好地保留了源模型的水平是文本生成任务的理想选择。无论是个人用户还是企业应用都能从该模型中获得高效、经济的文本生成能力。如果你正在寻找一款性能优异且资源消耗低的语言模型Qwen-AgentWorld-35B-A3B-oQ4绝对值得一试【免费下载链接】Qwen-AgentWorld-35B-A3B-oQ4项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Qwen-AgentWorld-35B-A3B-oQ4创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

实战:基于GAN与Lab色彩空间的灰度图像智能着色系统(PyTorch+OpenCV)

实战:基于GAN与Lab色彩空间的灰度图像智能着色系统(PyTorch+OpenCV)

1. 项目背景与核心思路 给黑白照片上色这件事,听起来像是魔法,但背后的原理其实非常有趣。想象一下你小时候用的填色本——AI做的事情也差不多,只不过它通过学习成千上万张彩色照片,自己总结出了"天空该用蓝色""树…

📅 2026/11/9 11:55:35
为什么选择secPaver?揭秘开源安全策略生成器的核心优势

为什么选择secPaver?揭秘开源安全策略生成器的核心优势

为什么选择secPaver?揭秘开源安全策略生成器的核心优势 【免费下载链接】secpaver Security policy development tool 项目地址: https://gitcode.com/openeuler/secpaver 前往项目官网免费下载:https://ar.openeuler.org/ar/ secPaver是一款由o…

📅 2026/11/9 9:37:58
14ms极速响应:Namo Turn Detector v1 - Korean实时对话处理的终极优化指南

14ms极速响应:Namo Turn Detector v1 - Korean实时对话处理的终极优化指南

14ms极速响应:Namo Turn Detector v1 - Korean实时对话处理的终极优化指南 【免费下载链接】Namo-Turn-Detector-v1-Korean 项目地址: https://ai.gitcode.com/hf_mirrors/videosdk-live/Namo-Turn-Detector-v1-Korean 在当今实时对话AI应用中,准…

📅 2026/10/17 15:00:25
MORE NEWS

更多资讯

📰

电工证能跨省通用吗 2026河南最新政策解读

电工证能跨省通用吗 2026河南最新政策解读 之前考的证在外省能不能转过来?这是很多特种作业人员的共同疑问,特别是在河南以外的地区务工或生活的人群。2026年河南最新政策对电工证的跨省通用性和年审要求有了新的调整,本文将从政策变化、证书效力…

📰

电工证科目二选几科啊 在哪考能省时间不耽误干活

电工证科目二选几科啊 在哪考能省时间不耽误干活 工地太忙根本没时间复习考试,我天天扛着工具箱满工地跑,晚上回家连饭都顾不上吃,哪还有空看电工证科目二的教材?这事儿我太懂了,去年刚毕业的时候也是这样,想着先混个证,结果一查科目二要选几科,差点…

📰

珠海电工证哪家好考在哪考别再交冤枉钱

珠海电工证哪家好考在哪考别再交冤枉钱 怕考不过白交培训费,珠海电工证哪家好考,这是很多准备报考电工证的小伙伴最关心的问题。你不是一个人,大家都怕花钱又费力还考不过,白白浪费时间和金钱。其实,只要选对机构,避开坑,顺利拿到证不是问题。今天咱们…

📰

建筑电工证考试挂靠怎么报名全流程解析

建筑电工证考试挂靠怎么报名全流程解析 之前考的证在外省能不能转过来?这几乎是每个从外地来鹤壁做公路工程的电工都会问的问题。别急,今天就从报名到挂靠全流程给你讲明白,帮你把证书“搬”到本地,顺利上岗。 一、建筑电工证考试挂靠的核心流程 1.…

📰

低压电工证考三相电吗怎么考?考前押题必备干货

低压电工证考三相电吗怎么考?考前押题必备干货 急需特种作业证才能上岗找工作,现在考低压电工证是很多人的首选。但很多人心里都在打鼓:**低压电工证考三相电吗?**这个问题关系到你以后能不能胜任岗位、能不能顺利通过考试。今天就来详细说说低压电工…

📰

香港电工证有啥用途 电子证书怎么查

香港电工证有啥用途 电子证书怎么查 怕考不过白交培训费,这事儿真不是开玩笑。我之前带过一批人报考电工证,结果有好几个交完钱,连考试都没参加就退了。你可能也遇到过类似情况,培训费动不动几千块,要是考不过,钱就打水漂了。现在市面上各种电工证五花…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬