[LangChain语言模型组件-09]针对模型输出的解析（上篇）-北京尧图网络

到目前为止我们已经介绍LangChain的语言模型和提示词模板它们都是一个Runnable对象而且提示词模板的输出正是模型的输入所以两者正好可以拼接在一起组成一条LCEL链。这条链还缺一环那就是将模型输出转换成结构化数据以方便应用处理我们可以借助通过BaseOutputParser类型表示的输出解析器来完成此功能。提示词模板、语言模型和输出解析器组成了模型调用三件套。1. BaseOutputParser常用的输出解析器类型以抽象类BaseOutputParser为基类而该类又继承自如下这个BaseLLMOutputParser类型。这是一个泛型抽象类泛型参数T表示解析生成的目标类型。从抽象方法parse_result的定义可以看出被解析的输入是一个Generation列表。通过前面针对语言模型的介绍我们知道作为语言模型基类的BaseLanguageModel的核心方法generate/agenerate会返回一个LLMResult对象它的核心字段generations返回的就是一个两层Generation列表。这进一步证实了BaseLLMOutputParser解析的正是语言模型的输出。parse_result/aparse_result方法的partial参数是为支持流式输出”设计的。如果被设置为True意味着当前的提供的内容可能只是完整回复的一部分。classBaseLLMOutputParser(ABC,Generic[T]):abstractmethoddefparse_result(self,result:list[Generation],*,partial:boolFalse)-T:asyncdefaparse_result(self,result:list[Generation],*,partial:boolFalse)-T:returnawaitrun_in_executor(None,self.parse_result,result,partialpartial)BaseOutputParser同时继承BaseLLMOutputParser和RunnableSerializable。作为一个Runnable对象它的输入类型LanguageModelOutput是针对BaseMessage和字符串类型的联合这两种类型分别代表Completion模型和Chat模型的输出类型。LanguageModelOutputBaseMessage|strclassBaseOutputParser(BaseLLMOutputParser,RunnableSerializable[LanguageModelOutput,T]):overridedefinvoke(self,input:str|BaseMessage,config:RunnableConfig|NoneNone,**kwargs:Any,)-T:ifisinstance(input,BaseMessage):returnself._call_with_config(lambdainner_input:self.parse_result([ChatGeneration(messageinner_input)]),input,config,run_typeparser,)returnself._call_with_config(lambdainner_input:self.parse_result([Generation(textinner_input)]),input,config,run_typeparser,)overridedefparse_result(self,result:list[Generation],*,partial:boolFalse)-T:returnself.parse(result[0].text)abstractmethoddefparse(self,text:str)-Toverrideasyncdefainvoke(self,input:str|BaseMessage,config:RunnableConfig|NoneNone,**kwargs:Any|None,)-Tasyncdefaparse_result(self,result:list[Generation],*,partial:boolFalse)-Tasyncdefaparse(self,text:str)-T实现的parse_result方法会提取输入列表中的第一个Generation对象的文本内容并将其作为输入调用抽象方法parse得到目标对象。invoke方法最终调用的是parse_result方法对于Chat模型输出的消息或者Completion模型输出的字符串文本该方法分别创建对应的ChatGeneration和Generation列表作为调用parse_result方法的输入参数。BaseOutputParser同时也定义了aparse方法默认实现通过调用parse方法完成。重写的aparse_result方法会调用aparse方法而重写的ainvoke方法又会调用aparse_result方法。输出解析不仅仅是被动地处理语言模型生成的内容它会根据输出的结构生成相应的指令作为提示词指导模型生成期望的格式比如CSV和JSON这一个功能体现在get_format_instructions方法上。由于这不是必需的操作所以它并没有被定义成抽象方法支持格式指令生成的输出解析器类型需要实现此方法。它也定义了dict方法通过生成的字典解决序列化问题。classBaseOutputParserdefget_format_instructions(self)-str:raiseNotImplementedErrordefdict(self,**kwargs:Any)-dict2. BaseTransformOutputParserBaseTransformOutputParser是LangChain解析器体系中针对流式处理Streaming的基类。如果说BaseLLMOutputParser关注的是一次性解析完整结果那么BaseTransformOutputParser关注的就是边生成边解析。它针对流式输出的支持是通过重写transform/atransform方法实现的而两个方法会调用定义的私有方法_transform/_atransform后者最终调用的依旧是parse_result/aparse_result方法。classBaseTransformOutputParser(BaseOutputParser[T]):def_transform(self,input:Iterator[str|BaseMessage],)-Iterator[T]:forchunkininput:ifisinstance(chunk,BaseMessage):yieldself.parse_result([ChatGeneration(messagechunk)])else:yieldself.parse_result([Generation(textchunk)])asyncdef_atransform(self,input:AsyncIterator[str|BaseMessage],)-AsyncIterator[T]:asyncforchunkininput:ifisinstance(chunk,BaseMessage):yieldawaitrun_in_executor(None,self.parse_result,[ChatGeneration(messagechunk)])else:yieldawaitrun_in_executor(None,self.parse_result,[Generation(textchunk)])overridedeftransform(self,input:Iterator[str|BaseMessage],config:RunnableConfig|NoneNone,**kwargs:Any,)-Iterator[T]:yieldfromself._transform_stream_with_config(input,self._transform,config,run_typeparser)overrideasyncdefatransform(self,input:AsyncIterator[str|BaseMessage],config:RunnableConfig|NoneNone,**kwargs:Any,)-AsyncIterator[T]:asyncforchunkinself._atransform_stream_with_config(input,self._atransform,config,run_typeparser):yieldchunk3. BaseCumulativeTransformOutputParserBaseCumulativeTransformOutputParser相比于BaseTransformOutputParser其核心差异在于状态累加与增量控制。它解析的是截止到当前时刻的完整上下文而BaseTransformOutputParser解析的仅仅是当前的片段。所谓的累加处理体现在它会将新片段与之前的所有片段合并后再解析这一点可以从它重写的_transform方法中看出来_atransform方法也采用类似的方式进行了重写。classBaseCumulativeTransformOutputParser(BaseTransformOutputParser[T]):diff:boolFalsedef_diff(self,prev:T|None,next:T,)-T:raiseNotImplementedErroroverridedef_transform(self,input:Iterator[str|BaseMessage])-Iterator[Any]:prev_parsedNoneacc_gen:GenerationChunk|ChatGenerationChunk|NoneNoneforchunkininput:chunk_gen:GenerationChunk|ChatGenerationChunkifisinstance(chunk,BaseMessageChunk):chunk_genChatGenerationChunk(messagechunk)elifisinstance(chunk,BaseMessage):chunk_genChatGenerationChunk(messageBaseMessageChunk(**chunk.model_dump()))else:chunk_genGenerationChunk(textchunk)acc_genchunk_genifacc_genisNoneelseacc_genchunk_gen parsedself.parse_result([acc_gen],partialTrue)ifparsedisnotNoneandparsed!prev_parsed:ifself.diff:yieldself._diff(prev_parsed,parsed)else:yieldparsed prev_parsedparsedoverrideasyncdef_atransform(self,input:AsyncIterator[str|BaseMessage])-AsyncIterator[T]除了累加机制BaseCumulativeTransformOutputParser还支持差分模式如果利用diff字段开启了差分模式它会调用_diff方法计算当前结果与上一次结果的差额只返回新增的部分。这在某些流式前端更新中非常有用支持此模式的子类需要重写_diff方法。如下的程序演示了BaseTransformOutputParser和BaseCumulativeTransformOutputParser之间的差别。我们分别继承这两个类型定义了StrOutputParser和StrCumulativeOutputParser实现的parse方法直接返回带解析的文本。我们将同一个字符串列表的迭代器作为参数调用它们的transform方法并将生成的字符串组合成一个列表。从断言可以看出累积效应出现在StrCumulativeOutputParser上。fromlangchain_core.output_parsersimportBaseTransformOutputParser,BaseCumulativeTransformOutputParserclassStrOutputParser(BaseTransformOutputParser[str]):defparse(self,text:str)-str:returntextclassStrCumulativeOutputParser(BaseCumulativeTransformOutputParser[str]):defparse(self,text:str)-str:returntext result[itemforiteminStrOutputParser().transform(iter([foo,bar,baz]))]assertresult[foo,bar,baz]result[itemforiteminStrCumulativeOutputParser().transform(iter([foo,bar,baz]))]assertresult[foo,foobar,foobarbaz]在默写场景下应用差分模式会很有用。比如它可以减少带宽在前端UI渲染时如果解析器返回的是整个JSON比如有100个字段每多一个字符就传一遍全量数据非常浪费。使用差分模式前端只接收变更指令。还可以根据diff产出的特定元素触发特定的逻辑。例如当列表中新出现报警这个词时立即发送通知而不需要每次都扫描整个列表。下面的演示程序定义了一个继承自BaseCumulativeTransformOutputParser的ListCumulativeOutputParser它将以逗号分隔的文本内容解析为列表。我们通过重写的_diff方法剔除重复的元素。fromlangchain_core.output_parsersimportBaseCumulativeTransformOutputParserclassListCumulativeOutputParser(BaseCumulativeTransformOutputParser[list[str]]):def_diff(self,prev:list[str]|None,next:list[str])-list[str]:return[itemforiteminnextifitemnotinprev]ifprevelsenextdefparse(self,text:str)-list[str]:returntext.strip(,).split(,)result[itemforiteminListCumulativeOutputParser(diffTrue).transform(iter([foo,bar,,bar,baz,,qux]))]assertresult[[foo,bar],[baz],[qux]]result[itemforiteminListCumulativeOutputParser(diffFalse).transform(iter([foo,bar,,bar,baz,,qux]))]assertresult[[foo,bar],[foo,bar,bar,baz],[foo,bar,bar,baz,qux]]4. StrOutputParser在演示BaseTransformOutputParser和BaseCumulativeTransformOutputParser差异的程序中我们定义了一个将字符串作为解析目标类型的StrOutputParser其实这样的类型也是LangChain众多预定义输出解析类型的一员而且它采用与我们一致的定义方式。classStrOutputParser(BaseTransformOutputParser[str]):overridedefparse(self,text:str)-str:Returns the input text with no changes.returntext5. JsonOutputParser继承自BaseCumulativeTransformOutputParser的JsonOutputParser是LangChain中最实用、设计最精巧的解析器之一SimpleJsonOutputParser是它的一个别名。它结合了结构化指令注入、容错解析和实时流式反馈。对于不使用函数调用来获取结构化数据的情况这可能是最可靠的解析器。它通过纯文本提示词引导模型输出JSON并处理模型可能夹带的Markdown代码块。因为它继承了BaseCumulativeTransformOutputParser随着模型吐词它会不断产出当前已完整解析出的JSON对象。如果通过设置了diffTrue开启了差分模式它会利用jsonpatch库计算并只返回新老JSON之间的变化差异极大地节省了前端处理增量数据时的开销。它还支持部分解析如果参数partialTrue并且当JSON还没写完比如括号没闭合时parse_result会捕获JSONDecodeError并静默返回None或已识别的部分而不是崩溃。使用JsonOutputParser最优雅的方式是结合Pydantic。这能让LangChain自动为你生成Prompt指令并确保返回的是强类型的Python对象。以下是一个完整的代码示例演示如何从一段杂乱的文本中提取结构化的用户信息。我们创建了一个JsonOutputParser对象并将其pydantic_object字段设置为我们自定义的Pydantic模型类型UserInfo。然后我们创建了一个PromptTemplate对象生成的提示词旨在告诉模型从指定的一段文字描述中提取出个人信息。模板中除了定义表示查询输入的变量query外还具有一个表示格式化指令的变量format_instructions我们调用partial将此变量的值设置为当前JsonOutputParser对象的get_format_instructions方法返回值。fromlangchain_core.output_parsersimportJsonOutputParserfromlangchain_core.promptsimportPromptTemplatefromlangchain_openaiimportChatOpenAIfrompydanticimportBaseModel,Fieldfromdotenvimportload_dotenv load_dotenv()classUserInfo(BaseModel):name:strField(descriptionusers name)age:intField(descriptionusers age)hobbies:list[str]Field(descriptionusers hobbies)parserJsonOutputParser(pydantic_objectUserInfo)template Extract information from the following text. {format_instructions} context: {query}prompt(PromptTemplate.from_template(template).partial(format_instructionsparser.get_format_instructions()))llmChatOpenAI(modelgpt-5.2-chat)chainprompt|llm|parser query_textMy name is Jayden, I am 18 years old and I like hiking and painting.print(prompt.format(queryquery_text))resultchain.invoke({query:query_text})print(json.dumps(result,indent2))输出Extract information from the following text. STRICT OUTPUT FORMAT: - Return only the JSON value that conforms to the schema. Do not include any additional text, explanations, headings, or separators. - Do not wrap the JSON in Markdown or code fences (no or json). - Do not prepend or append any text (e.g., do not write Here is the JSON:). - The response must be a single top-level JSON value exactly as required by the schema (object/array/etc.), with no trailing commas or comments. The output should be formatted as a JSON instance that conforms to the JSON schema below. As an example, for the schema {properties: {foo: {title: Foo, description: a list of strings, type: array, items: {type: string}}}, required: [foo]} the object {foo: [bar, baz]} is a well-formatted instance of the schema. The object {properties: {foo: [bar,baz]}} is not well-formatted. Here is the output schema (shown in a code block for readability only — do not include any backticks or Markdown in your output): {properties: {name: {description: users name, title: Name, type: string}, age: {description: users age, title: Age, type: integer}, hobbies: {description: users hobbies, items: {type: string}, title: Hobbies, type: array}}, required: [name, age, hobbies]} context: My name is Jayden, I am 18 years old and I like hiking and painting.{name:Jayden,age:18,hobbies:[hiking,painting]}在创建了作为模型的ChatOpenAI对象后我们将三件套组成一个LCEL链。我们提供一段包含个人性息的文本作为参数调用此链并输出返回的结果。在调用之前我们使用相同的输入对提示词模板进行格式化并输出了格式化提示词文本。如下所示的是程序完整的输出可以看出JsonOutputParser的get_format_instructions方法提供了一个非常完整而丰富的指令文本最终得到的JSON也确实于UserInfo具有匹配的Schema。如果我们拦截针对OpenAI API调用的HTTP请求会发现具有如下结构的响应作为模型生成的核心内容“choices”-“message”-“content”证实以JSON形式返回的。{choices:[{content_filter_results:{…},finish_reason:stop,index:0,logprobs:null,message:{annotations:[],content:{\name\:\Jayden\,\age\:18,\hobbies\:[\hiking\,\painting\]},refusal:null,role:assistant}}],created:1772427776,id:chatcmpl-DEpiicspzw02JInBNnNkd1GGd05OK,model:gpt-5.2-chat-2025-12-11,object:chat.completion,prompt_filter_results:[{…}],system_fingerprint:null,usage:{…},}JsonOutputParser按照如下的方式重写了parse_result方法它将带解析文本从第一个Generation对象提取出来后会调用parse_json_markdown函数对其解析并生成具有目标结构的字典。从方法命名不难看出此方法将待解析内容视为Markdown文本中的一个JSON片段。如果partial参数的值为True以为者得到的文本可能不完整所以即使解析失败也不会抛出异常而是返回None。重写的parse方法会转而调用重写的parse_result。classJsonOutputParser(BaseCumulativeTransformOutputParser[Any]):overridedef_diff(self,prev:Any|None,next:Any)-Any:returnjsonpatch.make_patch(prev,next).patchoverridedefparse_result(self,result:list[Generation],*,partial:boolFalse)-Any:textresult[0].text texttext.strip()ifpartial:try:returnparse_json_markdown(text)exceptJSONDecodeError:returnNoneelse:try:returnparse_json_markdown(text)exceptJSONDecodeErrorase:msgfInvalid json output:{text}raiseOutputParserException(msg,llm_outputtext)fromedefparse(self,text:str)-Any:returnself.parse_result([Generation(texttext)])defget_format_instructions(self)-str通过前面实例的演示我们知道get_format_instructions方法输出的指令并不是仅仅告诉模型按照JSON格式输出生成的内容它还对JSON格式输出提出了一些要求或者约束。除此之外它还根据我们指定的解析类型输出了对应的Schema和实例示范。JsonOutputParser还通过重写_diff方法提供了针对差分模式的支持具体是调用jsonpatch包提供的make_patch方法。该遵循RFC 6902JSON Patch标准作用是比较两个JSON对象生成一系列指令操作列表描述如何通过最小步骤把第一个对象变成第二个对象。make_patch函数是为了高效传输结构化数据的变更而生的。在长文本或复杂JSON生成场景下它是提升系统响应性能的神器。

[LangChain语言模型组件-09]针对模型输出的解析（上篇）

相关推荐

长沙小吃饮品培训哪里学：长沙曾食坊小吃培训走访

湘潭小吃培训怎么挑：长沙曾食坊小吃培训的选校思路

长沙小吃培训排行榜怎么看？长沙曾食坊小吃培训走访

更多资讯

STM32H7+LAN8720A以太网调试实战：从PHY寄存器到LWIP稳定百兆

从零搭建OpenRig开放式硬件平台：散热、走线与避坑全指南

ESD防静电烘箱全流程解析：从静电防护到调试交付

51单片机驱动SYN6288实现倒车雷达语音播报实战

Gazebo仿真中Controller Spawner找不到controller_manager的排查指南

3月28日今日AI分享：把 Cursor Base URL 改到 TaoToken 的完整配置与验证

今日更新

CMOS设计三大物理效应：体效应、沟道长度调制与亚阈值导电

微信小程序在线阅读毕设全解析：Java后端+MySQL+避坑实战

Android音频问题五层分析法：从App到Codec的系统化诊断

本周精选

CMOS设计三大物理效应：体效应、沟道长度调制与亚阈值导电

微信小程序在线阅读毕设全解析：Java后端+MySQL+避坑实战

Android音频问题五层分析法：从App到Codec的系统化诊断

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？