尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
1931_日常应用的主力模型切换成 Qwen 27B
在过去的两个星期里面我手头使用的主力本地大模型是千问的 35B-A3B。从使用的体验来说这个 A3B 的模型的确是足够惊艳的能够满足我大部分的一个使用场景。比较重要的一点是它的输出效率非常高执行的速度非常快每秒的 token 数非常多。那么为什么我还要切换 27B 的模型呢主要是在高频次使用 A3B 的这个模型的时候偶尔会发现这个模型的发挥不是那么稳定输出的一致性也不是特别好。通过网络上的一些信息检索对比发现 27B 这方面可能会更优秀一些。我尝试部署的 27B 模型是一个 IQ3 的量化版本。因为选择这个版本的话基本上能够刚好把我的 RTX 5080 Laptop 的显卡用起来也不会有太多的 CPU RAM 相关的限制。在选择这个模型的时候我也做了一些基础的测试。从网络上找了一些别人测试其他模型时候用的一些输入比如说让它做一个小游戏之类的。发现 27B 的模型在实现这部分功能的时候表现的比较好。经过了一系列的调优27B 的模型在我现在电脑上的配置如果是开启了 MTP 模式之后最高的速度可能能达到 45 token 每秒。但是在这样的配置之下上下文就压缩的特别可怜只能 16K。如果配合 Agent 使用的时候16K 的上下文可能就是一个很大的短板。于是尝试做了一些其他的修改保证这个模型首先能用。我尝试的几个修改点主要有上下文的量化压缩同时取消 MTP 的加速。这样的话基本上能保证 48K 的上下文。在 48K 上下文的配置之下显存的占用大概是 14.6G内存的占用包括系统本身的一些服务占用一共是占用了大概 22G运行过程中最高占到 28.5G 左右。最终 GPU 还有 1G 多的空闲这样的话可能不至于在系统偶尔使用的时候导致整个大模型的崩溃。在这样的配置之下每秒的 token 数大概是 25 左右。不是特别快但是基本上能够满足一些代码推理编写的基本需求。进行了一个复杂模块的软件编写中间没有出现爆显存之类的问题。在这个过程中GPU 的压力还是很大的而且温度也是比较高的。我看温度最后到了 86 度。后续的话在这个基础上继续使用一段时间中间也可以去尝试一下其他参数的优化看看能不能有更高的输出速度。有一点值得注意的是我发现相比于 A3B 的模型这个 27B 的单词模型在解决同一个问题的时候消耗的 Token 数会少很多。虽然总体的执行时间还是比 3B 要长一些但是在复杂问题的解决上这个时间也不是一个很大的劣势体验差距不是很大。下面附加我的启动脚本。echo offsetlocalset LLAMA_CPP_DIRC:\llama.cppset MODEL_PATH%LLAMA_CPP_DIR%\models\Qwen3.6-27B-Fable-Fus-711-UnHeretic-NM-DAU-NEO-MAX-NEO-MTP-IQ3_M.gguf:: 【致命修复1】将上下文削减到 48000set CONTEXT_SIZE48000:: 【致命修复2】保持全层 GPU但配合下方压缩set GPU_LAYERS99:: 线程数保持物理大核数量如 8-12set THREADS10set PORT8080set HOST0.0.0.0echo Starting Safe Mode Qwen3.6-27B Server...echo Model: %MODEL_PATH%echo Context: %CONTEXT_SIZE%, Layers: %GPU_LAYERS%, Threads: %THREADS%%LLAMA_CPP_DIR%\llama-server.exe ^-m %MODEL_PATH% --alias Qwen3.6-27B ^-c %CONTEXT_SIZE% ^-ngl %GPU_LAYERS% ^-t %THREADS% ^-b 512 ^-ub 512 ^--port %PORT% ^--host %HOST% ^--threads-batch %THREADS% ^--chat-template chatml ^--parallel 1 ^-ctk q4_0 ^-ctv q4_0 ^-fa on ^--split-mode layer ^--mlockpause
RELATED

相关推荐

购物节消费博弈:从平台补贴到理性决策的实战指南

购物节消费博弈:从平台补贴到理性决策的实战指南

1. 从“购物节”到“消费季”:我们到底在为什么买单?又到了一年一度的“618”,各大平台的红色横幅、倒计时弹窗和“限时秒杀”的提示音,几乎塞满了我们手机屏幕的每一个角落。作为一个在零售和电商行业摸爬滚打了十几年的老鸟&…

📅 2026/11/18 10:09:24
腾讯AI工具QClaw、WorkBuddy与ClawBot功能解析与应用指南

腾讯AI工具QClaw、WorkBuddy与ClawBot功能解析与应用指南

1. 腾讯AI工具生态概览腾讯近年来在AI领域持续发力,构建了覆盖多个场景的智能工具矩阵。QClaw、WorkBuddy和ClawBot作为其代表性产品,分别针对不同用户群体和使用场景进行了深度优化。从技术架构来看,这三个工具都基于腾讯云TI平台&#xff0…

📅 2026/11/7 15:36:44
文本摘要数据集实战指南:从LCSTS到XSum的深度解析与应用

文本摘要数据集实战指南:从LCSTS到XSum的深度解析与应用

1. 项目概述:为什么我们需要一个“活”的文本摘要数据集指南做文本摘要,无论是搞研究还是做产品,第一步永远是找数据。我刚入行那会儿,为了找一个合适的摘要数据集,在各大论文、GitHub仓库和学术网站上翻了个底朝天&am…

📅 2026/11/13 11:55:58
MORE NEWS

更多资讯

📰

北京电工证技能补贴保姆级教程:工地太忙根本没时间复习考试怎么办?

北京电工证技能补贴保姆级教程:工地太忙根本没时间复习考试怎么办? 工地太忙根本没时间复习考试,这不是个例,而是很多一线电工师傅的真实写照。每天在工地上穿梭,手上沾满灰尘,脑子里想着的是今天的活能不能按时干完,哪还有心思去备考?但现实是,…

📰

上海市特种电工作业证怎么考?2026河南最新政策下避坑指南

上海市特种电工作业证怎么考?2026河南最新政策下避坑指南 不知道去哪报名怕被中介坑?2026河南最新政策下,很多电工都开始着急考证了,尤其是像你这样在开封从事房建工程的朋友,想要在上海发展,特种电工作业证是必须的。别慌,今天就把报考流程、…

📰

考电工证是全职么?郑州报考避坑指南,实操考试心里没底怕挂科

考电工证是全职么?郑州报考避坑指南,实操考试心里没底怕挂科 实操考试心里没底怕挂科,这是很多准备考电工证的小伙伴最真实的声音。尤其是像南阳卧龙区的在职建筑工人,平时工作已经很辛苦,还要抽出时间备考,心理压力真的不小。今天就来聊聊,考电工证是…

📰

铁道报考电工证有用嘛郑州报考避坑指南

铁道报考电工证有用嘛郑州报考避坑指南 证书过期了不知道怎么复审延期?很多人在拿到电工证后,往往忽视了证书的有效期,等到需要用到的时候才发现已经过期,既耽误工作又影响收入,甚至可能影响到职业发展。今天就来聊聊【铁道报考电工证有用嘛】这个话题,…

📰

电工证费用低压是多少考试真题与备考技巧

之前考的证在外省能不能转过来 低压电工证费用及电子证书使用全解析 之前考的证在外省能不能转过来?这几乎是所有在外地打拼的电工从业者最关心的问题,特别是手里拿着 电子证书…

📰

成华区哪里考电工证好官方回应:工地太忙怎么考证不耽误活儿

成华区哪里考电工证好官方回应:工地太忙怎么考证不耽误活儿 工地太忙根本没时间复习考试,这不是你一个人的烦恼,更是整个特种作业行业的真实写照。成华区哪里考电工证好?官方回应早就给出了答案,但关键是怎么把流程搞明白,把考试安排好,把证书拿到手,…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬