尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
1924_千问A3B模型实用性的体验
最近新买了一个电脑就是为了体验一些比较小的模型可以在本地部署的感觉。最近这几天在我自己的电脑上把千问的 3.6-35B-A3B 这个大模型给部署上了。选择的量化版本是 IQ3 的量化版本而且是支持 MTP 的。目前的使用体验感觉还是比较丝滑流畅的每秒钟的 Token 数能够稳定在 80 以上。幅值能够超过 100 Token 每秒。像这种参数规模的大模型可能本来在推理能力以及编码能力方面就不是特别突出。加上各种量化的技术可能会损失一些精度这样就会带来更为劣势的体验。怎么把这种模型的能力充分发挥出来呢我觉得一个比较好的方式就是使用 Agent。有了这个 Agent一方面是它可以实现一些从需求到开发到测试逻辑上的闭环。另外就是可以实现连续的对话不断的改进。我先是尝试了把这个模型接入到了 Codex进行了一些简单的小任务的处理感觉完成的效果还是可以的。但是目前使用 Codex 处理相应的内容的时候感觉效率上不是特别高。我也把这个模型接入到了字节跳动的 TRAE 软件开发框架之中尝试让它分析了一些代码。代码分析的最终结果我没有仔细看但是感觉分析出来的内容从形式还有丰富度上至少是有一定的提示价值。之前看过一些别人整理的 DeepSeek 的教程其中有一部分人是把 DeepSeek API 接入到了 VS Code 的一些插件之中。典型的插件有 Cline 还有 Continue。从交互形式上我感觉我比较喜欢 Cline 的风格于是这次我也尝试了把模型接入到这个插件之中。实现了几个小功能之后感觉这个模型还是能够在我的生产力上提供一些加速的能力的。当时之所以选择这个模型就是因为这个模型支持全模态所以后续我可能会在会议记录分析办公文件处理等各个方面尝试去发掘一些新的使用模式。其中会议记录的分析我个人的想法是使用它作为一个大脑中枢配合一些其他的小工具来完成整个的功能。比如说使用千问的语音转文字的功能把相应的文字信息提取出来。使用 FMPEG 把视频中的一些屏幕信息截取下来。之后再使用 A3B 的模型把这些信息统一整理一下。毕竟 A3B 本身是一个多模态的它既可以处理文字又可以处理我截图下来的图片。通过这种方式配合起来或许可以实现会议纪要的自动化处理。当然目前这个还只是一个初步的设想是不是能够实现以及实现之后它的效果究竟是什么样子这些还有待于后续的探索。但是目前这个模型简单的表现给了我很大的期待。
RELATED

相关推荐

机器学习模型服务化:从Notebook到高可用生产的全链路实践

机器学习模型服务化:从Notebook到高可用生产的全链路实践

1. 项目概述:这不是一次“部署上线”,而是一场从实验室到产线的系统性迁移“From Notebook to Production: Running ML in the Real World (Part 4)”——这个标题里藏着一个被太多人轻描淡写、却让无数团队在临门一脚时彻底卡死的真实困境。它不是教你怎…

📅 2026/10/11 21:15:13
Java接口安全配置:5个核心防护措施详解

Java接口安全配置:5个核心防护措施详解

1. Java接口安全配置的重要性在当今微服务架构盛行的时代,Java接口作为系统间通信的核心枢纽,其安全性直接关系到整个系统的防护能力。我见过太多因为接口安全配置疏忽导致的严重事故——从数据泄露到系统瘫痪,甚至引发连锁反应影响整个业务链…

📅 2026/10/16 23:42:29
v-hotkey安全指南:防止键盘快捷键被恶意利用的10个最佳实践

v-hotkey安全指南:防止键盘快捷键被恶意利用的10个最佳实践

v-hotkey安全指南:防止键盘快捷键被恶意利用的10个最佳实践 【免费下载链接】v-hotkey Vue 2.x directive for binding hotkeys to components. 项目地址: https://gitcode.com/gh_mirrors/vh/v-hotkey 在Vue.js应用中,键盘快捷键能极大提升用户体…

📅 2026/10/6 14:11:54
MORE NEWS

更多资讯

📰

拓扑排序算法详解:从DAG图到Kahn与DFS实现

1. 拓扑排序基础概念解析 拓扑排序是图论中一个非常重要的算法,它专门用于处理有向无环图(DAG)中的顶点排序问题。想象一下大学课程安排:有些课程需要先修课程才能学习,比如你必须先学"高等数学"才能学"…

📰

Git+宝塔实现Web代码自动化部署方案

1. 项目背景与核心需求 作为一名长期在中小型团队负责部署维护的开发者,我经常遇到这样的场景:本地开发环境修改代码后,需要手动上传到服务器才能测试效果。这种重复操作不仅浪费时间,还容易遗漏文件。最近在帮一个创业团队搭建We…

📰

MySQL单表查询实战:从基础到电商案例

1. MySQL单表查询入门指南:写给新手的实战手册 刚接触MySQL的新手常常会被各种SQL语法搞得晕头转向,特别是当需要从数据库中提取特定数据时。作为从业十年的数据库工程师,我见过太多新手在单表查询这个看似简单的环节栽跟头。今天我就用最直白…

📰

StringRedisTemplate核心解析与高效实践

1. StringRedisTemplate 核心解析 Redis作为当下最流行的内存数据库之一,在Java生态中有着广泛的应用。而StringRedisTemplate正是Spring Data Redis提供的专门用于字符串操作的模板类,它简化了与Redis的交互过程,让开发者能够更专注于业务逻…

📰

MySQL GROUP_CONCAT函数实战:数据聚合与报表生成

1. 理解GROUP_CONCAT的核心价值 在数据分析工作中,我们经常遇到需要将多行数据合并为单行展示的场景。比如销售报表中,同一个客户在不同日期的购买记录分散在多行,但业务部门希望看到按客户汇总的完整购买清单。这正是MySQL中GROUP_CONCAT函数…

📰

OpenStack Cinder备份可靠性增强:三重校验与状态机治理

简介:这是一份面向OpenStack运维工程师与云平台开发者的Python工具脚本,专为简化Cinder卷备份/还原流程而设计,有效应对Cinder Backup Service在多租户支持、备份可见性控制及自动轮换等方面的原生限制。资源包共4个文件(11KB&…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬