尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
TextGen 本地大模型部署实战:从克隆到 API 调用的完整路线
TextGen 本地大模型部署实战从克隆到 API 调用的完整路线【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgenTextGen 是一个开源的本地大模型桌面应用与 Web UI支持文本、视觉、工具调用并提供 OpenAI/Anthropic 兼容的 API全程离线、无遥测。适合想在个人电脑或服务器上跑私有 LLM、又不想配置云服务环境的开发者与新手。下面按硬件选路线再给最短可跑通的部署步骤和调优参数。按硬件选部署路线你的环境推荐路线依赖文件对应章节NVIDIA GPUWindows/Linux一键脚本或 venv CUDA 版 llama.cpprequirements/full/requirements.txt或requirements/portable/requirements.txt最小可用部署AMD GPU一键脚本选 AMD 分支requirements/full/requirements_amd.txt最小可用部署无 GPU 的 x86 服务器venv CPU 依赖requirements/full/requirements_cpu_only.txt最小可用部署Apple Silicon / Intel Mac一键脚本或 venv MPS 依赖requirements/full/requirements_apple_silicon.txt最小可用部署容器化服务器Docker Composedocker/nvidia/、docker/cpu/等Docker 容器化部署依赖文件分requirements/full/含 Transformers、训练、绘图等完整后端和requirements/portable/仅 llama.cpp 后端体积更小两套按硬件后缀选择即可。最小可用部署venv 五步跑通以 Linux/macOS 为例Windows 把source venv/bin/activate换成venv\Scripts\activategit clone https://gitcode.com/GitHub_Trending/te/textgen cd textgen python -m venv venv source venv/bin/activate第 1 步成功标志本地出现textgen/目录。第 3 步成功标志出现venv/目录。安装依赖并启动pip install -r requirements/portable/requirements.txt --upgrade python server.py --portable --api --auto-launch安装成功标志终端无ERROR: Could not find a version that satisfies。启动成功标志浏览器自动打开http://127.0.0.1:7860出现 Chat/Default/Parameters 等标签页。放模型从 Hugging Face 下载任意 GGUF 文件放入user_data/models/界面会自动识别无需重启。Transformers 或 ExL3 等多文件模型需放在user_data/models/下的独立子文件夹中且必须用 full 版安装。不想手搭环境也可以直接跑 start_linux.sh或start_windows.bat、start_macos.sh脚本会自动装 Miniforge 环境按提示选 GPU 厂商装完同样访问http://127.0.0.1:7860。启动参数持久化写法两层配置作用域不同持久化配置——写入 user_data/CMD_FLAGS.txt每次启动server.py都会读取适合固定的网络与加载策略--listen绑定 0.0.0.0允许局域网访问--api启用 OpenAI/Anthropic 兼容 API默认端口 5000--model MODEL_NAME启动时直接加载指定模型--idle-timeout 60闲置 60 分钟后自动卸载模型释放显存--settings user_data/settings.yaml从 YAML 加载默认界面设置界面内即时配置——Parameters 标签页改动立即生效且随会话保存适合实验单个采样参数两者冲突时以启动参数为准。核心生成参数与推荐区间参数含义推荐区间max_new_tokens单次生成上限过高会挤占提示词截断空间512–2048temperature随机性主旋钮0 为确定性解码0.7–1.2top_p核采样阈值与 top_k 二选一即可0.9–1.0min_p相对最高概率的淘汰线替代 top_k 时更稳0.02–0.1repetition_penalty重复惩罚1 为关闭1.0–1.2截断长度防止提示词超出模型上下文模型 ctx − 512现成参数组合可直接用user_data/presets/下的 Creative.yamlmin_p 0.02 xtc 0.5、Deterministic.yaml、Top-P.yaml在 Preset 菜单中加载。进阶场景低显存量化加载显存紧张时换 Transformers 后端并降精度需 full 版依赖中的 bitsandbytes--load-in-4bit --use_double_quant4-bit 双重量化下8B 模型权重大约占 4.5–5GB 显存。配合--ctx-size 8192压低 KV cache--gpu-layers控制放卡上的层数llama.cpp 后端设-1为尽量全放。纯 CPU 机器用--cpu --threads 88 为物理核心数。局域网远程访问在user_data/CMD_FLAGS.txt追加--listen重启后从局域网用http://服务器IP:7860访问。多人共用加--multi-user不保存聊天记录。注意--listen会向同网段所有设备暴露 UI公共网络下请配合防火墙限制来源 IP。Docker 容器化部署以 NVIDIA 为例AMD/Intel/CPU 换成docker/amd、docker/intel、docker/cpuln -s docker/nvidia/{Dockerfile,docker-compose.yml,.dockerignore} . cp docker/.env.example .env mkdir -p user_data/logs user_data/cache docker compose up --build编辑本地.envTORCH_CUDA_ARCH_LIST按显卡填RTX 30 系 8.6、40 系 8.9APP_RUNTIME_GID填宿主机id -g的输出HOST_PORT默认 7860、API 端口HOST_API_PORT默认 5000。端口被占用时改.env里的HOST_PORT。完整说明见 docs/09 - Docker.md。故障自查现象可能原因处置动作加载模型报 CUDA out of memory量化精度或 ctx 过大换 4-bit GGUF或--ctx-size 8192、--gpu-layers减层pip install报依赖冲突系统 Python 装了冲突包用 venv/conda 隔离勿污染系统环境局域网打不开 7860未开--listen或防火墙拦截user_data/CMD_FLAGS.txt加--listen放行 7860/5000 端口启动卡住或后端报错requirements 选错硬件分支按硬件换回对应requirements_*.txt重装--upgrade模型列表为空模型没放对目录GGUF 放user_data/models/根下多文件模型放子文件夹API 调不通未加--api或端口不符确认--api已启用请求指向http://127.0.0.1:5000下一步用 docs/03 - Parameters Tab.md 逐条对照采样参数把 Parameters 页的 top_k、tfs、penalty 系列各跑一轮对比输出差异。阅读 docs/07 - Extensions.md把 TTS、语音输入、机器翻译扩展放进user_data/extensions/试装。参考user_data/tools/下的 web_search.py 写一个自己的工具函数验证工具调用链路。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

T3 Code可观测性体系详解:日志、追踪与遥测如何组成故障排查闭环

T3 Code可观测性体系详解:日志、追踪与遥测如何组成故障排查闭环

T3 Code可观测性体系详解:日志、追踪与遥测如何组成故障排查闭环 【免费下载链接】t3code 项目地址: https://gitcode.com/GitHub_Trending/t3/t3code T3 Code 是一款开源的 AI 编程代理控制台,支持通过 Web、桌面和移动端统一调度本机的 Claude…

📅 2026/11/8 11:18:03
基于STM32的5KW MPPT太阳能控制器设计要点与实战解析

基于STM32的5KW MPPT太阳能控制器设计要点与实战解析

简介:这是一套面向嵌入式开发者与电力电子工程师的STM32高性能MPPT太阳能控制器完整设计资料,聚焦5kW级光伏系统能量优化与安全运行,解决大功率场景下最大功率点动态跟踪、多维度硬件保护及远程固件升级等核心工程问题。资源包共275个文件&am…

📅 2026/11/8 11:18:01
VB.NET实现TCP/IP通讯转发:从原理到实战

VB.NET实现TCP/IP通讯转发:从原理到实战

简介:本资源是一套基于VB.NET开发的TCP/IP通讯转发功能完整实现源码,面向网络通信初学者及有一定.NET开发经验的工程师,解决实际项目中对双向通信数据包内容实时监控与中继转发的需求痛点。程序采用VS2019开发,核心逻辑包含Listen…

📅 2026/10/17 9:48:29
MORE NEWS

更多资讯

📰

登高架设证哪家最可靠真实经历告诉你怎么选

登高架设证哪家最可靠真实经历告诉你怎么选 你是不是也担心自己学历不高,连报名都过不了?别急,咱们一起聊聊【登高架设证哪家最可靠】这个真实经历。作为一个在焦作公路工程行业摸爬滚打多年的从业者,我深知证书背后那些“看不见的门槛”,也经历过不少“…

📰

青岛电工证如何报名含金量高吗?上岗必须考的证别犹豫

青岛电工证如何报名含金量高吗?上岗必须考的证别犹豫 你还在为找不到电工工作发愁?别急,先搞清楚一件事——没有电工证,别说进工地,连面试资格都没。青岛电工证如何报名?含金量到底高不高?这证能不能帮你顺利入职?今天我就来唠唠这个事,全是实打实的…

📰

深泽县电工证官方回应:证书过期了不知道怎么复审延期怎么办

深泽县电工证官方回应:证书过期了不知道怎么复审延期怎么办 证书过期了不知道怎么复审延期?这事儿千万别拖,否则就真的“电工”变“电工”,连饭碗都保不住了。官方回应显示,近年来因特种作业证书未按时复审导致岗位资格失效的案例屡见不鲜,特别是像…

📰

低压电工证个人能报吗千万别踩坑

低压电工证个人能报吗千万别踩坑 怕考不过白交培训费?你不是一个人。低压电工证作为特种作业中门槛较低但需求量大的证书,很多个人考生在报名前都担心“能不能自己报”“培训费值不值”“能不能一次性通过”。如果你正在考虑报考低压电工证,千万别踩坑,先…

📰

成都市考取电工证电子证书查询

成都人学历不高也能考电工证?值不值得考看这篇就够了 你是不是也担心自己学历不高,考不了电工证?别急,这年头,证书门槛真的没你想象的那么高。特别是在成都,很多培训机构专门针对低学历学员设计了考取电工证的通道。今天我们就来聊聊【成都市考取电工证…

📰

济源初级电工证怎么考才不浪费钱?2026河南最新政策告诉你

济源初级电工证怎么考才不浪费钱?2026河南最新政策告诉你 怕考不过白交培训费?别急,2026河南最新政策已出台,济源初级电工证考试流程、费用、通过率都变了,这篇文章给你说清楚,少走弯路。 电工证到底值不值得考?…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬