尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
一次配好不折腾:text-generation-webui 本地部署大模型实践
一次配好不折腾text-generation-webui 本地部署大模型实践【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen你想在自己笔记本或一台闲置服务器上跑起大模型还希望数据一个字节都不出内网——text-generation-webui 就是为这件事做的本地部署大模型的桌面应用聊天、工具调用、OpenAI 兼容 API 全在本地完成。这篇文章走一遍环境配置与参数调优的完整路线从选依赖到报错自救跟着做完就能出界面。起步先选路按硬件选依赖文件第一次启动前先花十秒确认你的硬件类型再去 requirements/full/ 目录下对号入座。选错文件后面装依赖和跑模型都会不顺NVIDIA 独显RTX 20/30/40 系等用 requirements/full/requirements.txt。带 CUDA 加速的完整依赖绝大多数人的默认选择。AMD 独显RX 6000/7000 系等用 requirements/full/requirements_amd.txt。Rocm 后端已按 AMD 图形栈配好装完即可跑。没有独显、纯 CPU 机器用 requirements/full/requirements_cpu_only.txt。小参数模型7B 量化版以下跑得动速度要有心理预期。MacBook / iMacApple Silicon 芯片选 requirements/full/requirements_apple_silicon.txtIntel 芯的 Mac 则用同目录的 requirements/full/requirements_apple_intel.txt。很老的 x86 CPU不支持 AVX2 指令集换用 requirements/full/requirements_nowheels.txt走源码编译而非预编译 wheel编译慢一些但能装上。从克隆到出界面三步启动 Web UI把代码拿下来git clone https://gitcode.com/GitHub_Trending/te/textgen cd textgen一条 clone 命令拿到全部源码和脚本。按系统选启动入口跑起来./start_linux.sh # Linuxstart_windows.bat :: Windows 直接双击也行./start_macos.sh # macOS三份脚本逻辑一致命令块里只列了入口Windows 用户双击 .bat 即可。等浏览器自己弹出来脚本会自动装好 Miniforge 和 conda 环境、隔离系统 Python、装齐依赖最后拉起 Web UI。首访地址固定是http://localhost:7860看到界面就说明链路通了。生成参数的两种持久化调优入口入口一CMD_FLAGS.txt。打开 user_data/CMD_FLAGS.txt在文件里每行写一个你希望每次都生效的参数--listen --api --auto-launch下次启动脚本会把它当成命令行参数自动带上不用每次敲也不用记。适合放--listen开放局域网、--model 模型名开机直接载入指定模型这类一次写定的选项。入口二UI 的 Parameters 标签页。参数想边聊边调、或者要按任务换一套组合直接进界面上的 Parameters 面板改还能存成预设反复用。下面三个场景是最常见的三种配方。场景一显存不大想塞进更大的模型把加载方式降位宽写进 CMD_FLAGS.txt 即可--load-in-8bit半精度减半为 8 位多数 7B~13B 模型这样就能进 8G 显存。--load-in-4bit --wbits 4 --groupsize 128再压到 4 位24B 级别也有得跑代价是略有精度损失。场景二嫌回答太干想要多样性在 Parameters 面板里把随机性拧大temperature提到 0.9~1.2温度越高措辞越跳脱top_p放到 0.95 左右候选 token 池更宽句式不那么套路想彻底换个思路直接点面板里的随机预设按钮抽一套再微调。场景三要稳定准确做工具调用或代码把随机性压下去temperature收到 0.1~0.4输出可复现、不跑题top_k取 40 左右的小值只从头部候选里选对结构化输出JSON、函数调用还可在 Model 标签页挂 user_data/grammars/ 里的 GBNF 语法约束。常用参数的起点速查列名和取值都按先跑通再微调的思路给参数它管什么从哪下手max_new_tokens单次回答最长写多长先给 500回答被截断了再往上加temperature措辞的随机程度聊天 0.8 起步求稳往下降求活往上升top_p每个 token 的候选池大小0.95 能覆盖绝大多数场景repetition_penalty对重复句式的惩罚力度出现车轱辘话时小幅抬到 1.1 左右截断长度上下文窗口载入模型后 UI 自动填好除非你改 loader 否则不用动多环境共存Docker 隔离方案什么时候值得上容器本机环境不想被污染、同一台服务器要并存多个项目、或者要往远程机器上做无人值守部署。仓库在 docker/ 下给好了各硬件的现成配置以 NVIDIA 为例cd textgen ln -s docker/nvidia/Dockerfile . ln -s docker/nvidia/docker-compose.yml . docker compose up --build首次构建会比较久要按 GPU 架构编译 CUDA 算子。compose 里默认取TORCH_CUDA_ARCH_LIST8.6;8.9PTX如果你的卡更老或更新可在旁边建一个.env文件覆写该变量user_data目录会被挂载进容器模型和预设都留在宿主机容器删了也不丢数据。AMD 和纯 CPU 的变体在 docker/amd/ 与 docker/cpu/把软链指过去即可命令完全一样。更多细节看 docs/09 - Docker.md。报错对号入座五个高频问题自检现象加载或生成时抛 CUDA out of memory。→ 原因模型加上下文超出显存。→ 解法换--load-in-8bit/--load-in-4bit或调小截断长度改动写进 user_data/CMD_FLAGS.txt。现象出字明显慢、卡得难受。→ 原因模型过大或 loader 没吃满硬件。→ 解法先确认依赖文件没选错回第一章再在 Parameters 里核对max_new_tokens是否虚高详见 docs/03 - Parameters Tab.md。现象局域网另一台机器打不开界面。→ 原因只监听了本机回环。→ 解法CMD_FLAGS.txt 里补上--listen同时放行 7860 端口。现象依赖装不上、torch 版本互相打架。→ 原因宿主机环境被别的框架污染。→ 解法别跟系统 Python 较劲直接走 Docker见上一章 docker/。现象启动时报指令集/算子相关错误。→ 原因CPU 太老却装了新 wheel。→ 解法换 requirements/full/requirements_nowheels.txt 重装。跑通之后不妨做三件事同一模型分别用 4bit 和 8bit 跑一段对比看精度损失你是否能接受用 user_data/presets/ 里的现成预设切换几种生成风格找到最顺手的那套再微调剩下的模块训练、扩展、多模态直接翻 docs/ 逐篇拆。如果碰到上面没列到的报错把终端最后几行丢到评论区我们一起看。下一篇聊聊扩展开发——怎么给自己的 Web UI 装上自定义工具见分晓。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

STC15驱动ST7735彩屏:模拟SPI并口实战与避坑指南

STC15驱动ST7735彩屏:模拟SPI并口实战与避坑指南

简介:本资源是面向嵌入式初学者与51单片机开发者的STC15系列驱动ST7735S彩色TFT液晶屏的完整并口驱动工程,专为解决小尺寸彩屏在资源受限MCU上的高效显示控制问题而设计,适用于智能仪表、IoT终端、教学实验等场景。压缩包共14个文件&#xff…

📅 2026/11/9 5:12:57
STM32驱动DS1302实时时钟:标准库与HAL库双版本实现与串口显示

STM32驱动DS1302实时时钟:标准库与HAL库双版本实现与串口显示

简介:本资源是面向STM32初学者与嵌入式开发者的DS1302实时时钟驱动实战项目,聚焦STM32F103系列MCU在标准库与HAL库双框架下对DS1302芯片的完整驱动实现与串口时间显示功能。资源提供可直接编译运行的工程模板(含IAR、Keil MDK双平台支持&…

📅 2026/11/9 5:12:57
SpringBoot+Uniapp前后端分离校园圈综合平台设计与实战

SpringBoot+Uniapp前后端分离校园圈综合平台设计与实战

简介:这是一套面向高校开发者与毕业设计学生的前后端分离校园社区实战项目,聚焦校园集市、表白墙、论坛、失物招领、校园墙及跳蚤市场六大核心场景,解决校园内信息互通、情感表达与资源流转的现实需求。资源包共564个文件,涵盖113…

📅 2026/10/17 11:57:18
MORE NEWS

更多资讯

📰

莱西电工证培训良心建议:学历不高怕报不上名?实话告诉你怎么破局

莱西电工证培训良心建议:学历不高怕报不上名?实话告诉你怎么破局 你是不是也这样?学历不高,怕报不了电工证?别急,我来告诉你怎么搞定。在莱西电工证培训这条路上,确实有很多人因为学历问题而犹豫不决,但这不代表你就没机会。下面我会从实际出发,告诉…

📰

密山市电工证怎么复审 内部消息告诉你怎么搞定

密山市电工证怎么复审 内部消息告诉你怎么搞定 证书过期了不知道怎么复审延期,这种事在密山市电工圈里太常见了。尤其是那些在工地、工厂一线干活的电工,一忙起来就容易忽略证书有效期,结果到头来证过期了,活没法干,工资也拿不到。 内部消息…

📰

特种作业a证考试内容及合格标准多久拿证怎么避坑

特种作业a证考试内容及合格标准多久拿证怎么避坑 不知道去哪报名怕被中介坑?特种作业a证考试内容及合格标准多久拿证怎么避坑,成了很多新手最头疼的问题。尤其在驻马店这样的地级市,信息不对称严重,不少工人拿着中介推荐的“包过班”报名,结果花了钱、…

📰

大庆电工证在哪办理?学历不高怕报不上名?考前押题全攻略

大庆电工证在哪办理?学历不高怕报不上名?考前押题全攻略 你是不是也觉得学历不高,担心自己连电工证都报不上名?别急,大庆电工证在哪办理其实一点都不难,关键是你得知道怎么操作。今天咱们就聊聊这个事,特别是那些担心自己学历不够的小伙伴,一定要看完…

📰

在哪里报名能考电工证 电子证书全国通用吗

在哪里报名能考电工证 电子证书全国通用吗 实操考试心里没底怕挂科?你不是一个人。别担心,这篇文章从报名到拿证全程拆解,带你一步步稳稳拿下电工证,还能拿到全国通用的 电子证书 ,再也不用怕被地方限制。 一、在哪里报名能考电工证?全流程拆解…

📰

工地太忙根本没时间复习考试?衢州电工证多少钱网上查询全解析

工地太忙根本没时间复习考试?衢州电工证多少钱网上查询全解析 工地太忙根本没时间复习考试?你是不是也这样,白天扛着工具在工地上跑,晚上回家还要面对一堆作业和考试题,脑子都快烧掉了?别急,今天咱们就来聊聊【衢州电工证多少钱】,还有怎么在网上查询…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬