self-llm 如何在 LM Studio 离线导入 Qwen3-8B GGUF 模型并调用本地 OpenAI 兼容 API-北京尧图网络

self-llm 如何在 LM Studio 离线导入 Qwen3-8B GGUF 模型并调用本地 OpenAI 兼容 API【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调全参数/Lora、部署国内外开源大模型LLM/多模态大模型MLLM教程项目地址: https://gitcode.com/GitHub_Trending/se/self-llm如果你的网络环境不佳、无法在 LM Studio 界面内直接搜索下载模型或者希望手动管理模型文件可以走离线路线把 Qwen3-8B 的 GGUF 模型文件放进 LM Studio 的模型库启动它的本地服务器再用 Python 的 OpenAI 库通过 OpenAI 兼容 API 调用这个模型。本文基于 self-llm 项目中 Qwen3 Windows LMStudio 部署教程整理给出从导入模型到 API 调通的完整操作路径。准备条件已安装 LM Studio从 LM Studio 官网lmstudio.ai点击下载安装时按提示点击下一步即可完成。已安装 Python版本大于 3.7并安装 OpenAI 库pip install Openai显存决定了能跑哪个量化版本源文档给出的参考4070Ti 显存可以运行所有版本选择了 Q8 量化文件Qwen3-8B-Q8_0.gguf8G 显存则推荐使用Qwen3-8B-Q4_K_M.gguf或Qwen3-8B-Q3_K_M.gguf。下载前先确认自己的显存避免选错文件。离线导入 Qwen3-8B GGUF 模型LM Studio 的模型都存放在本地的一个模型目录下把 GGUF 文件放进指定子目录即可被识别不需要联网上传。打开 LM Studio 的 My Models 页面点击 Models Directory 右侧的 “...” 按钮选择 “Open in File Explorer”找到模型存储地址源文档示例路径为E:\.lmstudio进入该目录下的lmstudio-community文件夹在其中新建Qwen3-8B-GGUF文件夹。到魔搭社区下载 Qwen3-8B-GGUF 的对应文件。源文档给出的下载页地址为 modelscope.cn 上的unsloth/Qwen3-8B-GGUF的 files 页按上文准备条件中的显存结论选取Qwen3-8B-Q8_0.gguf、Qwen3-8B-Q4_K_M.gguf或Qwen3-8B-Q3_K_M.gguf之一。将下载好的.gguf文件存入第 2 步创建的Qwen3-8B-GGUF文件夹下。回到 LM Studio 界面刷新确认如果模型出现在模型列表中说明导入成功。用内置聊天界面做一次快速验证在启动 API 服务之前先确认模型本身能正常对话点击 LM Studio 左侧黄色对话标签。点击 “Select a model to load”选择一个模型启动在下拉列表中选择刚导入的 Qwen3-8b 模型。发送一条测试消息收到模型回复即可确认该 GGUF 文件可被正常加载和推理。这一步只是确认模型可用程序化调用还需要下一节的本地服务器配置。启动本地 API 服务并确认模型地址打开 LM Studio 左下角的绿色 terminal 模块点击 Settings打开Serve on Local Network开关同时可以看到 Server Port源文档示例为 1234选择 Qwen3-8b 模型并启动服务器Status 显示 Running。查看右侧 Info 面板的 Model Information 与 API Usage 区域这里会给出两样后续写代码要用的信息模型的 API identifier源文档示例为qwen3-8b和本地服务器可达地址源文档示例为http://172.12.128.1:1234。本机调用时使用http://localhost:1234局域网内其他机器调用时替换为该局域网 IP用 Python 调用 OpenAI 兼容 API源文档提供的调用示例如下base_url指向本地服务器api_key为 LM Studio 约定的lm-studiomodel填 API Usage 面板中显示的模型标识from openai import OpenAI # Point to the local server client OpenAI(base_urlhttp://localhost:1234/v1, api_keylm-studio) completion client.chat.completions.create( modelqwen3-8b, messages[ {role: system, content: 你是一个回答我日常问题的ai辅助机器人}, {role: user, content: 如何做宫保鸡丁。} ], temperature0.7, ) print(completion.choices[0].message.content)运行后终端会打印模型的回复内容。源文档的运行结果示例中模型先输出了think思考过程再给出宫保鸡丁的材料与做法说明带思考能力的 Qwen3 模型在 LM Studio 中可正常返回完整响应。这是文档示例输出实际内容会随你的提问而变化以程序能打印出模型回复即表示调用成功。调用不通过时核对什么按源文档信息API 调用环节需要核对的有三项服务器地址本机必须用http://localhost:1234/v1跨机器则用 API Usage 面板显示的那个局域网地址端口以你 LM Studio 中 Server Port 的实际值为准源文档示例为 1234模型标识model参数要填写 API Usage 面板中显示的 identifier示例为qwen3-8b与 GGUF 文件名不完全相同服务状态terminal 模块的 Status 需处于 Running且已选定 Qwen3-8b 模型启动。如果显存不足导致选错量化版本模型可能无法加载8G 显存按源文档建议改选 Q4 或 Q3 版本的 GGUF 文件重新导入。完成以上步骤后你就在离线环境里完成了 Qwen3-8B 的 LM Studio 部署并可以通过标准 OpenAI 兼容接口在代码中调用它后续如需调整推理参数或服务配置都在 LM Studio 的 Settings 面板中操作。【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调全参数/Lora、部署国内外开源大模型LLM/多模态大模型MLLM教程项目地址: https://gitcode.com/GitHub_Trending/se/self-llm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

self-llm 如何在 LM Studio 离线导入 Qwen3-8B GGUF 模型并调用本地 OpenAI 兼容 API

相关推荐

Spring Boot Starter原理与应用实践指南

Open3D.art：AI与3D技术融合的社交化创作平台

Cherry Studio Code Mate 的 Claude Code 技能：非交互式驱动 claude CLI 的运行规程与权限边界

更多资讯

AI如何革新学术写作：智能文献管理与论文生成技术

Cua App-Use 实战指南：用虚拟桌面把 Agent 限制在指定应用中

Electrobun 调试排障：5 分钟定位构建失败与运行故障

AI如何解决学术写作痛点：选题到润色全流程解析

一键清掉 Windows 11 内置 AI 功能：RemoveWindowsAI 完整移除指南

Python项目CI/CD实践：工具链与部署策略详解

今日更新

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本周精选

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？