尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
3 处改动完成 Qwen-Agent 本地部署:LM Studio 接入后断网也能跑代码解释器
3 处改动完成 Qwen-Agent 本地部署LM Studio 接入后断网也能跑代码解释器【免费下载链接】Qwen-AgentAgent framework and applications built upon Qwen3.0, featuring Function Calling, MCP, Code Interpreter, RAG, Chrome extension, etc.项目地址: https://gitcode.com/GitHub_Trending/qw/Qwen-AgentQwen-Agent 是构建在 Qwen 模型上的 Agent 框架自带代码解释器、文档问答、函数调用等现成能力。本文以 LM Studio 为例演示 Qwen-Agent 本地部署不注册任何云端 API只改一个 llm_cfg 字典把模型请求指向你机器上的 1234 端口代码执行和文档问答就能在断网状态下完成。为什么对接只需要改个地址LM Studio 不只是模型浏览器。它的 Server 页签可以在 http://localhost:1234/v1 启动一个说 OpenAI 协议的本机服务任何能接 OpenAI 的客户端理论上都能接上它。Qwen-Agent 的模型层从 BaseChatModel 开始——你可以理解成所有模型都必须实现的通用插座见qwen_agent/llm/base.py。其中 oai 适配器实现见qwen_agent/llm/oai.py本来就是拿来说 OpenAI 协议的初始化时只从配置字典里读几个字段模型名、服务地址 api_base、密钥 api_key。qwen_agent/llm/function_calling.py里的工具调用逻辑也不关心请求发往哪个地址。一句话原理不写新适配器把现成的 oai 适配器的目标地址指向你自己的机器。改一个字典完成最小可行配置3 处改动全部在调用侧不碰仓库里的任何源码安装 LM Studio下载一个 GGUF 模型Qwen2.5-7B-Instruct 是稳妥起点加载后在 Server 页签启动服务默认端口 1234。获取 Qwen-Agentgit clone https://gitcode.com/GitHub_Trending/qw/Qwen-Agent进入目录后执行pip install -e .。在脚本里把 model_type 设为 oai 的配置字典建出来llm_cfg { model: qwen2.5-7b-instruct, # 以 LM Studio 中加载的模型名为准 model_type: oai, api_base: http://localhost:1234/v1, api_key: lm-studio, }两个字段容易配错model必须和 LM Studio 里加载的模型名一致否则本地服务会返回 404api_key只是形式上的要求。LM Studio 不校验它适配器代码在缺省时也会兜底为 EMPTY填任意字符串都行。顺带一提api_base写成model_server是等价的oai.py会依次读取这两个字段。验证本地调用是否真正生效先跑一句最省事的 quick_chatfrom qwen_agent.llm import get_chat_model model get_chat_model(llm_cfg) print(model.quick_chat(你好请用一句话介绍你自己。))更可靠的验证方式断掉网络或关掉 Wi-Fi再发同样的消息。还能正常回复说明请求确实落在你机器上而不是绕去了云端。如果抛出 Connection refused别先怀疑代码——十有八九是 LM Studio 的服务没启动或端口写成了别的数字。跑通后的三个实际用法对接跑通后框架里的 Agent 都可以原样离线使用。挑三个最常用的用法一让代码解释器在本地跑给 Assistant 挂上内置的code_interpreter工具让模型自己写一段数据处理脚本并执行——脚本和数据都不出机器。⚠️ 注意该工具基于 Docker 容器运行宿主机需要装好并启动 Docker 服务。用法二、三文档问答与多网页问答文档问答参考examples/assistant_rag.py的写法把本地 PDF 交给模型让它回答总结文档核心观点全程不联网。多网页问答参考examples/parallel_doc_qa.py的思路一次载入多个网页或文档做交叉比对。本地模型响应比云端旗舰模型慢但数据始终留在本机。踩坑记录与调优参数工具调用解析出错时本地模型比云端旗舰模型弱最常见的问题是工具调用格式写歪。这时先查generate_cfg里的两个开关fncall_prompt_type工具调用模板qwen3 系列建议 noususe_raw_apiLM Studio 新版支持原生工具调用时设为 True 可以绕开文本模板解析。输入偏长时再加一个max_input_tokens上限超限会自动截断历史。7B 与 13B 量化怎么选方向性参考没有绝对答案硬件条件建议方向显存 ≥ 8GB7B 模型4-bit 或 8-bit 量化显存 ≥ 16GB13B 模型优先试 8-bit生成太慢时先降量化位数或换更小的模型再去调 temperature 等采样参数没有意义。工具调用场景建议优先选 Qwen 系列框架的解析模板就是为它们调优的。延伸阅读配置参数详细说明oai 适配器实现源码【免费下载链接】Qwen-AgentAgent framework and applications built upon Qwen3.0, featuring Function Calling, MCP, Code Interpreter, RAG, Chrome extension, etc.项目地址: https://gitcode.com/GitHub_Trending/qw/Qwen-Agent创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

JAX 闭包常量(Closed-over Constants)处理机制深度解析:从 Jaxpr 追踪到 HLO 常量提升(Hoisting)的完整设计

JAX 闭包常量(Closed-over Constants)处理机制深度解析:从 Jaxpr 追踪到 HLO 常量提升(Hoisting)的完整设计

JAX 闭包常量(Closed-over Constants)处理机制深度解析:从 Jaxpr 追踪到 HLO 常量提升(Hoisting)的完整设计 【免费下载链接】jax Composable transformations of PythonNumPy programs: differentiate, vectorize, JI…

📅 2026/9/10 11:10:09
OpenCore Legacy Patcher 三步实操:让 2015 年旧 MacBook 装上 macOS Sonoma

OpenCore Legacy Patcher 三步实操:让 2015 年旧 MacBook 装上 macOS Sonoma

OpenCore Legacy Patcher 三步实操:让 2015 年旧 MacBook 装上 macOS Sonoma 【免费下载链接】OpenCore-Legacy-Patcher Experience macOS just like before 项目地址: https://gitcode.com/GitHub_Trending/op/OpenCore-Legacy-Patcher MacBookPro12,1&…

📅 2026/9/10 11:10:09
IMU/GPS融合EKF实战:15维状态建模与雅可比推导

IMU/GPS融合EKF实战:15维状态建模与雅可比推导

简介:本资源是一套面向自动化、导航与控制方向初学者及进阶学习者的MATLAB实践教程,聚焦扩展卡尔曼滤波(EKF)在多源传感器融合定位中的核心应用。针对IMU易漂移、GPS易受遮挡的现实瓶颈,资源通过完整仿真流程&#xff…

📅 2026/9/10 11:10:08
MORE NEWS

更多资讯

📰

基于YOLO11的无人机视角行人车辆检测与界面项目

文章目录基于YOLO11的无人机视角行人车辆检测与界面项目1. 项目背景与需求2. 项目技术背景3. 系统架构4. 关键技术实现5. 应用场景6. 总结与展望基于YOLO11的无人机视角行人车辆检测与界面项目 随着无人机技术的快速发展,无人机在各个领域的应用也越来越广泛&#…

📰

Arduino ESP32 从零搭建:5 步完成核心包安装、串口识别与首次上传

Arduino ESP32 从零搭建:5 步完成核心包安装、串口识别与首次上传 【免费下载链接】arduino-esp32 Arduino core for the ESP32 family of SoCs 项目地址: https://gitcode.com/GitHub_Trending/ar/arduino-esp32 这份指南写给刚收到第一块 ESP32 开发板、准…

📰

OpenCore Legacy Patcher 实操指南:给老 Mac 装新版 macOS 的 6 步路径

OpenCore Legacy Patcher 实操指南:给老 Mac 装新版 macOS 的 6 步路径 【免费下载链接】OpenCore-Legacy-Patcher Experience macOS just like before 项目地址: https://gitcode.com/GitHub_Trending/op/OpenCore-Legacy-Patcher 系统更新窗口弹出一句&quo…

📰

老 Mac 免费装新 macOS:OpenCore Legacy Patcher 五站实操手册

老 Mac 免费装新 macOS:OpenCore Legacy Patcher 五站实操手册 【免费下载链接】OpenCore-Legacy-Patcher Experience macOS just like before 项目地址: https://gitcode.com/GitHub_Trending/op/OpenCore-Legacy-Patcher OpenCore Legacy Patcher&#xff…

📰

Linera EVM 桥部署实操指南:基于 Docker 镜像在真实网络完成 EVM↔Linera Bridge 全流程部署

Linera EVM 桥部署实操指南:基于 Docker 镜像在真实网络完成 EVM↔Linera Bridge 全流程部署 【免费下载链接】linera-protocol Main repository for the Linera protocol 项目地址: https://gitcode.com/GitHub_Trending/li/linera-protocol 导读 本文是 L…

📰

电视盒子播放器选型:TVBoxOSC能在老盒子上放出4K片源吗

电视盒子播放器选型:TVBoxOSC能在老盒子上放出4K片源吗 【免费下载链接】TVBoxOSC TVBoxOSC - 一个基于第三方项目的代码库,用于电视盒子的控制和管理。 项目地址: https://gitcode.com/GitHub_Trending/tv/TVBoxOSC 老电视盒子插上装满4K MKV的U…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬