三步跑通属于你自己的免费 LLM API：FreeLLMAPI 本地部署与接入完整教程-北京尧图网络

三步跑通属于你自己的免费 LLM APIFreeLLMAPI 本地部署与接入完整教程【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapiFreeLLMAPI 是一个 OpenAI 兼容的免费 LLM API 统一接口请求打向本地一个 /v1 地址由它分派到 34 家 AI 提供商的免费额度里——474 个模型家族、635 个免费端点每月约 74 亿免费 token。各家免费层请求量少、限流规则还各不相同34 套密钥、34 套 SDK 手工维护并不现实FreeLLMAPI 把派单、限流切换和额度记账合并成一份本地服务你只管一个地址、一把密钥。读完本文你将拿到本地跑起来的 FreeLLMAPI 服务第一条应答直接返回一个只改两行代码就能接入的示例一套能用一句话说清的路由派单逻辑动手前选一条适合你的部署路径三条路径跑起来的是同一个服务差别只在你愿意自己管多少东西。方式适合谁环境要求一句话说明一行命令想最快启动的人Docker脚本自动建目录、生成密钥、拉镜像、启动容器Docker Compose想自己保管密钥与数据卷的人Docker Docker Compose OpenSSL自己生成 ENCRYPTION_KEYSQLite 落在具名卷里桌面版不想碰终端的人macOS 或 Windows无额外依赖路由器与仪表盘装进系统托盘自动登录一行命令最快启动主路径就是一条命令。它会建好~/freellmapi目录、生成加密密钥、拉取镜像并启动容器服务跑在 3001 端口重复执行等价于升级到最新版已有配置不丢。curl -fsSL https://freellmapi.co/install.sh | bash启动后浏览器打开 http://localhost:3001 进密钥页做三件事填提供商密钥Google AI Studio、Groq、Mistral或任意 OpenAI 兼容端点在Fallback Chain回退链里调整顺序排靠前的优先被选中复制页头的统一密钥freellmapi-开头之后所有应用只认这一把。真实密钥用 AES-256-GCM 加密存进本地 SQLite轻量嵌入式数据库仪表盘上看不到明文。Docker Compose自己保管密钥与数据卷openssl rand -hex 32生成 64 位十六进制密钥连同PORT3001写进.env再启动git clone https://gitcode.com/GitHub_Trending/fr/freellmapi cd freellmapi ENCRYPTION_KEY$(openssl rand -hex 32) printf ENCRYPTION_KEY%s\nPORT3001\n $ENCRYPTION_KEY .env docker compose up -dSQLite 会持久化到具名卷里。升级时只要ENCRYPTION_KEY和数据卷保持不变已存的密钥就能继续解开两者任何一个变了密文就解不动了。完整细节见安装与部署文档。桌面版装进托盘不用终端桌面版把路由器和仪表盘整体装进系统托盘不设账号密码仪表盘自动登录托盘弹窗里能看实时请求统计。从 Releases 下载即可macOS 装.dmgWindows 装.exe。先验证再写码确认路由器真的在切换部署完别急着写代码花一分钟在 Playground 里确认派单确实发生。先打开 http://localhost:3001 的Playground页再输入一句短话比如用一句话介绍你自己发送看到回复气泡上标注出这次实际由哪家提供商、哪个模型应答、延迟多少即完成 ✅。这个标注就是路由发生的直接证据。如果你用代码发请求响应里还会带X-Routed-Via: 提供商/模型头可以逐次核对实际应答方请求在提供商之间转移过则同时出现X-Fallback-Attempts: N。接入现有代码把 base_url 指到本地现有代码只要走 OpenAI 协议要动的只有两个参数base_url指到本地api_key换成统一密钥。/v1 是 OpenAI 兼容接口即任何 OpenAI SDK 客户端都能直连的协议面SDK 原样保留。from openai import OpenAI client OpenAI(base_urlhttp://localhost:3001/v1, api_keyfreellmapi-你的统一密钥) resp client.chat.completions.create( modelauto, messages[{role: user, content: 一句话介绍你自己}]) print(resp.choices[0].message.content)model的取值决定这次请求怎么挑auto交给路由器自决auto:fast、auto:smart、auto:reliable让本次请求偏向速度、智能或近期成功率也可以直接写具体模型名例如gemini-2.5-flash。本地跑着的 Ollama、vLLM、LM Studio可以在密钥页按自定义 OpenAI 兼容端点挂进来和免费池一起参与路由。流式、工具调用、Embedding、图像/语音生成、Anthropic 协议面的完整用法见 REST API 参考。给好奇的人每次应答背后的派单逻辑FreeLLMAPI 自己不做推理只做派单每个请求进来它从池子里挑一个应答方。打分是三维的可靠性、速度、智能。评分来自近 7 天的实时流量按 2 天半衰期指数衰减——越新的实测数据权重越高。可靠性取实测成功率速度看吞吐和首字节时间智能取模型静态能力档位。分数最高的模型接单。响应带上X-Routed-Via: 提供商/模型头你随时能核对是谁真正答的。答砸了就走阶梯冷却命中 429限流或 5xx服务端错误时该密钥依次停用 2 分钟 → 10 分钟 → 1 小时 → 1 天越连击停得越久期间请求自动落到 Fallback Chain 的下一家你这边无感知。每一次调用都计入按密钥的额度统计。池子始终停在各家免费上限之内靠的就是这套记账。选模与评分的实现见 server/src/services/router.ts429/5xx 的冷却重试循环在 server/src/lib/fallback-loop.ts想读得更深从路由与评分架构文档入手。长期用法三个页面、四个 FAQ、一条边界日常管理集中在三个页面密钥页管提供商密钥、Fallback Chain 顺序和统一密钥一切密钥操作的入口Models页是路由透视每个模型带可靠性、速度、智能三个实时评分列表顺序就是当前真实的路由顺序整池月度 token 预算也在这里看Analytics页记账请求量、成功率、token 进出、按提供商拆分延迟给到 p50/p95 与首 token 时间数据默认保留 90 天。仪表盘密码忘了怎么办点登录页的Forgot password?重置码打印在服务器日志里15 分钟内有效。局域网别的设备怎么访问服务默认只绑127.0.0.1用HOST_BIND0.0.0.0启动即可暴露仅限可信网络。日志在哪里看Docker 部署用docker compose logs -f freellmapi实时跟踪桌面版在托盘菜单里选Open Logs Folder打开日志目录。提供商密钥安全吗真实密钥用 AES-256-GCM 加密存在本地 SQLite请求经过时才在内存中解密仪表盘任何位置都不露明文。最后一条边界这套免费池定位是个人实验与学习免费层没有 SLA真要上线的产品发布前把密钥池换成付费 API。上手之后还有三件事值得做请求fusion虚拟模型能拿到更稳的答案多个免费模型并行起草再由裁判模型合成一份参与模型组在仪表盘Fusion页配置接口用法见 REST API 参考的 Fusion 一节。把编程智能体指向统一接口客户端与编程智能体文档里有 Claude Code、Codex CLI、Cline 等工具的现成配方一条命令就能把它指到本地。想弄懂分数到底怎么算从路由与评分架构文档读起配合 server/src/services/router.ts 看评分与采样在代码里如何落地。【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

三步跑通属于你自己的免费 LLM API：FreeLLMAPI 本地部署与接入完整教程

相关推荐

RocooFix静态修复完全指南：补丁如何注入ClassLoader实现代码替换？6步拆解完整流程

TFLM在Arm MCU上的端侧AI部署实战：从模型转换到性能调优

语音方案开发为何总绕远路？系统化设计框架与工程避坑指南

更多资讯

ABAP Cloud 的 OLTP 开发，从数据增删改查走向完整的业务事务

从业务模型到服务交付，读懂 ABAP Cloud 架构图中的开发逻辑与 Clean Core 边界

【码动四季·秋】从第一次 issue 到 Committer：一个普通开发者的开源参与路径（附真实晋升时间线）

Camera HAL 防抖—GME详解

从数据交换到业务协同，理解 SAP ABAP 的集成应用场景

Spring Boot+MyBatis+Thymeleaf构建客栈管理系统：从建表到部署的全流程实践

今日更新

悟空开源无代码平台实战：从实体建模到应用设计避坑指南

基于.NET9的多租户权限系统：数据权限与动态API落地实践

场地预约小程序毕设实战：SSM+微信小程序+MySQL数据库设计到避坑

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？