LangServe 完整入门介绍-北京尧图网络

LangServe 完整入门介绍一、LangServe 是什么LangServe LangChain 官方服务化工具基于 FastAPI一键把 LCEL Runnable / Chain / Agent 暴露成标准 REST API一句话场景你在 Notebook / Python 脚本写完 RAG、对话 Agent、代码链路本地能跑LangServe 负责把它变成线上接口可供 Streamlit 前端、其他后端、网页调用。技术定位 LangChain / LCEL → 写 AI 业务逻辑LangServe → 把 AI 逻辑对外提供 HTTP 服务LangSmith → 链路观测调试三者组成 LLMOps 基础三件套⚠️ 官方小提示新项目长远推荐LangGraph Platform但LangServe 仍然稳定可用学习、Demo、中小型项目首选。二、核心优势解决手动写 FastAPI 的痛点如果你不用 LangServe手动封装 Chain 接口需要自己处理流式输出、输入输出校验、序列化、中间步骤返回、接口文档、异常处理…… 非常繁琐。LangServe 开箱自带能力自动生成全套接口invoke单次调用 /stream流式打字效果 /batch批量请求 /stream_log输出链路中间步骤RAG 检索过程可见自动推导输入、输出 Schema参数校验内置交互式 Playground 调试页面RemoteRunnable 客户端远程调用和本地 Chain 写法完全一致原生兼容 LangSmith 追踪请求自动上报 Trace底层基于 FastAPI异步、高性能三、自动生成哪些接口假设你挂载路径/qa自动创建plaintextPOST /qa/invoke # 普通同步调用 POST /qa/stream # 流式SSE输出聊天打字效果 POST /qa/batch # 批量多条输入 POST /qa/stream_log # 流式返回链路每一步中间数据调试RAG神器 GET /qa/playground # 网页调试面板 GET /docs # FastAPI Swagger文档四、最简完整实战代码1. 安装依赖bash运行pip install langserve[all] langchain langchain-openai uvicorn python-dotenv2. 服务端 server.py提供 APIpython运行import os from dotenv import load_dotenv from fastapi import FastAPI from langchain_openai import ChatOpenAI from langchain_core.prompts import ChatPromptTemplate from langchain_core.output_parsers import StrOutputParser from langserve import add_routes load_dotenv() # 1. 构建标准LCEL链路你本地调试好的Chain prompt ChatPromptTemplate.from_messages([ (system, 你是专业技术顾问简洁回答技术问题), (human, {question}) ]) llm ChatOpenAI(modelgpt-3.5-turbo, temperature0.6) chain prompt | llm | StrOutputParser() # 2. 创建FastAPI实例 app FastAPI( titleLLM问答服务, version1.0, descriptionLangServe 演示问答API ) # 核心一行代码挂载链路 add_routes( app, chain, path/qa # 访问根路径 ) if __name__ __main__: import uvicorn uvicorn.run(app, host0.0.0.0, port8000)3. 启动服务bash运行python server.py访问地址文档http://127.0.0.1:8000/docs调试面板http://127.0.0.1:8000/qa/playground4. 客户端两种调用方式方式 ARemoteRunnable推荐和本地 Chain 代码无缝切换python运行from langserve import RemoteRunnable # 远程链写法和本地chain.invoke完全相同 remote_qa RemoteRunnable(http://127.0.0.1:8000/qa) # 普通调用 res remote_qa.invoke({question: 什么是LCEL}) print(res) # 流式输出 for chunk in remote_qa.stream({question: 解释RAG原理}): print(chunk, end)方式 B原生 HTTP POST前端 / 其他语言调用httpPOST http://127.0.0.1:8000/qa/invoke Content-Type: application/json { input: {question: LangServe有什么作用} }五、LangServe vs 手动写 FastAPI关键区别表格维度LangServe手写 FastAPI 封装 Chain开发速度一行add_routes极速需要定义 Pydantic、处理流式、序列化流式、stream_log原生支持大量代码手动实现客户端RemoteRunnable代码无缝迁移需要自己封装 HTTP 请求灵活性标准接口格式适合 AI 链路高度自由适合混合业务 AI适用场景RAG、Agent、纯 LLM 链路服务需要权限校验、复杂业务鉴权、混合数据库接口最佳实践 FastAPI 主项目 LangServe 挂载多条 Chain 通用业务接口自己写AI 链路交给 LangServe。六、和你学习栈串联LLMOps 完整链路Notebook开发、调试 Chain/RAG LangSmith 观测 Trace验证稳定后 → 使用LangServe封装为 API 服务Streamlit/Gradio 前端 → 通过 RemoteRunnable 调用后端服务上线uvicorn/gunicorn 部署搭配监控、限流完整流水线Jupyter调试 → LangServe发布API → 前端调用 → LangSmith线上观测七、常见踩坑点链路必须是标准 RunnableLCEL 管道旧式SequentialChain老链条兼容性差优先使用|管道写法。流式前端必须处理 SSE 协议普通 ajax 无法接收/streamRemoteRunnable 地址不要带上/invoke只写到路径前缀/qa如需身份认证在外层 FastAPI 增加中间件LangServe 本身不自带鉴权多 Chain 共存多次调用add_routes分配不同 path 即可python运行add_routes(app, qa_chain, path/qa) add_routes(app, translate_chain, path/translate)八、拓展方向进阶挂载 LangGraph Agent 为 API支持多轮智能体开启stream_log在前端展示 RAG 检索文档、工具调用全过程增加配置传递session_id 实现会话记忆容器 Docker 打包部署到服务器

LangServe 完整入门介绍

相关推荐

前端实战：jQuery 输入框防抖模糊搜索（定时器防抖+filter筛选）

Go 金融系统的分布式对账和资金安全的工程保障

蓝速 AI 双屏翻译机：双模续航打破跨境沟通壁垒

更多资讯

数字政府政务中心智慧大厅管理系统设计方案：案以“管理+服务”为理念、“软件+硬件+数据+运维+宣传”一体化智慧化建设方案

AIGC、RAG、Agent、Function Call、MCP 到底啥关系？这次用 TaoToken 让 Codex 走通一遍示例

微信小程序端人脸识别图书馆座位预约签到系统设计

JuiceFS 目录用量统计（Dir Stats）实战指南：启用、查看与修复

基于YOLOv8的无人机农田重金属污染监测系统构建实战

深度学习驱动的舌苔识别检测系统设计与实现

今日更新

51单片机开环控制磁阻传感器的硬件匹配与代码实现

AI Agent安全操作数据库：SQL注入防御与参数化查询实战

Android逆向实战：还原激励类App签到接口的签名算法

本周精选

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？