LLM API 调用链全链路追踪：OpenTelemetry 上下文注入与 Span 传递实战-北京尧图网络

LLM API 调用链全链路追踪OpenTelemetry 上下文注入与 Span 传递实战在大模型LLM应用架构中一个看似简单的用户请求在后端往往会经历一段极其错综复杂的“计算旅程”用户提问 - API 网关鉴权 - 向量数据库Milvus检索相关文档 - 提示词工程模板组装 - 外部安全审核模型校验 - 大模型核心生成 - 输出流式敏感词过滤。当用户抱怨某次请求卡顿了 6 秒时如果缺乏全链路追踪Distributed Tracing各组件的日志散落在不同的系统Loki / Elasticsearch中无法通过一个统一的 ID 串联开发团队各执一词无法定位到底是向量检索慢了还是模型生成耗时过长。基于CNCF OpenTelemetryOTel标准我们在全链路中实现W3Ctraceparent请求头的透明传递与 Step 级 Span 注入。本文将提供一份在 Go 微服务与 Python 大模型服务之间实现跨语言链路追踪的生产级实战代码。sequenceDiagram autonumber participant Client as 客户端 participant GoGateway as Go API 网关 (生成 TraceID) participant PythonLLM as Python vLLM 推理服务 participant Collector as OpenTelemetry Collector Client-GoGateway: 1. POST /v1/chat/completions Note over GoGateway: 2. 启动 Root Span: Gateway_Ingressbr/生成 TraceID: 4bf92f3577b34da6a3ce929d0e0e4736 GoGateway-PythonLLM: 3. 发送 HTTP 请求 (附带 Header traceparent: 00-4bf92f...-01) Note over PythonLLM: 4. 提取 traceparent启动 Child Span: vLLM_Prefill_Decodebr/继承完全相同的 TraceID! PythonLLM--GoGateway: 5. 返回流式输出并注入 token 计数属性 GoGateway--Client: 6. 返回最终响应 par 异步上报 Trace 数据 GoGateway--)Collector: 上报 Gateway Span (耗时 3.2s) PythonLLM--)Collector: 上报 LLM Span (Prefill: 200ms, Decode: 2.8s) end1. Go 网关层生成 Trace 并注入 HTTP 请求头package main import ( context net/http go.opentelemetry.io/otel go.opentelemetry.io/otel/propagation go.opentelemetry.io/otel/trace ) var tracer otel.Tracer(ai-gateway) func CallDownstreamLLMService(ctx context.Context, prompt string) (*http.Response, error) { // 1. 开启本地 Span ctx, span : tracer.Start(ctx, HTTP_Post_To_vLLM, trace.WithSpanKind(trace.SpanKindClient)) defer span.End() req, _ : http.NewRequestWithContext(ctx, POST, http://vllm-serving:8000/v1/completions, nil) // 2. 核心操作: 将当前 Context 中的 Trace 上下文自动序列化注入到 HTTP Header otel.GetTextMapPropagator().Inject(ctx, propagation.HeaderCarrier(req.Header)) // 发送带有 traceparent 的请求 return http.DefaultClient.Do(req) }2. Python 推理服务提取 TraceContext 并延续 Spanfrom fastapi import FastAPI, Request from opentelemetry import trace from opentelemetry.trace.propagation.tracecontext import TraceContextTextMapPropagator app FastAPI() tracer trace.get_tracer(vllm-service) app.post(/v1/completions) async def generate_completions(request: Request): # 1. 从 HTTP Headers 中提取父级 TraceContext carrier dict(request.headers) parent_context TraceContextTextMapPropagator().extract(carriercarrier) # 2. 在父级 Context 下开启子 Span无缝延续调用链! with tracer.start_as_current_span(LLM_Prefill_And_Decode, contextparent_context) as span: span.set_attribute(gen_ai.system, vllm) span.set_attribute(gen_ai.request.model, llama-3-70b) # 执行模型推理生成 # ... span.set_attribute(gen_ai.usage.output_tokens, 128) return {text: 生成结果}3. 总结通过遵循 OpenTelemetry 标准化协议跨语言、跨组件的分布式调用链在 Jaeger 看板上被完整拼装为一幅一览无余的拓扑图使每一次慢调用与报错都能被毫秒级定位到具体的代码行与组件。

LLM API 调用链全链路追踪：OpenTelemetry 上下文注入与 Span 传递实战

相关推荐

工控液晶屏现场故障排查七步法：从黑屏到修复的实操指南

智能体系统治理：隔离、集成与实时策略引擎

STM32F103 AB分区OTA实战：设计原理、代码实现与踩坑记录

更多资讯

ROS 2全栈机器人开发：从SLAM建图到Nav2导航实战

字符串核心知识盘点：转换、比较与性能避坑指南

嵌入式面试全攻略：C语言、MCU、RTOS与Linux驱动考点精讲

装上 Claudian 这个 Obsidian 插件后，知识库就是你的 AI 工作台

SerenityOS 截图工具 Screenshot 完全指南：图形界面操作、配置持久化与 shot 命令行详解

Switch大气层超频插件sys-clk：频率表与配置文件详解

今日更新

Linux 内核 ARM 虚拟内存布局全解析：从 4GB 地址空间划分到源码级验证

AIGC降重工具测评与教育应用指南

数据容灾核心指标与实战方案解析

本周精选

超人会飞不算本事：系统稳定依赖清晰规则与边界设计

超人VS蜘蛛侠：拆解超级IP的影响力与传播方法论

基于CNN的调制信号识别：MATLAB实现时频图分类实战

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？