在实际项目中使用大语言模型处理文档时很多开发者会遇到一个共同的问题如何将非结构化的文档内容有效地传递给LLM并得到准确、可靠的回答。无论是处理PDF报告、Word文档还是网页内容直接上传整个文件往往超出模型上下文限制而简单截断又会丢失关键信息。这背后涉及文档解析、分块策略、向量化检索和提示词工程等一系列技术决策。本文将以一个具体的PDF文档问答场景为例完整展示从原始文档处理到最终答案生成的实现路径。重点不仅在于代码怎么写更在于为什么选择某种分块大小、如何评估检索质量、以及当LLM返回无关内容时应该从哪些环节排查。1. 理解LLM文档处理的基本工作流LLM本身并不直接“阅读”PDF或Word文件而是处理文本内容。完整的文档处理流程可以分解为几个核心环节1.1 文档解析与文本提取不同格式的文档需要不同的解析工具。PDF文档可能包含文本层、扫描图像和复杂版式Word文档有样式信息HTML页面则包含标记。解析阶段的目标是尽可能干净地提取出可读的文本内容同时保留一定的结构信息如标题层级、列表项。1.2 文本分块与向量化LLM有上下文长度限制如GPT-4的128K tokens但实际文档可能远超这个限制。需要将长文档切分成适当大小的文本块每个块既要保持语义完整性又要足够小以适应模型窗口。分块后通过嵌入模型将文本转换为向量表示便于后续的相似度检索。1.3 检索增强生成RAG当用户提出问题时系统不是将整个文档传给LLM而是先从向量数据库中检索与问题最相关的几个文本块然后将这些相关片段作为上下文与问题一起提交给LLM。这种检索增强的方式既解决了上下文限制问题又提高了答案的相关性。1.4 提示词设计与结果验证LLM需要明确的指令来理解任务。在文档问答场景中提示词需要指定回答应基于提供的上下文对不确定的内容应明确说明而不是虚构信息。同时需要建立验证机制来评估答案质量。2. 环境准备与工具选型实现一个完整的文档处理系统需要多个组件的配合。以下是基于Python生态的典型技术栈2.1 核心依赖库# 文档解析 pip install pypdf2 python-docx beautifulsoup4 # 文本处理与向量化 pip install sentence-transformers faiss-cpu # LLM接口 pip install openai langchain # 实用工具 pip install tiktoken # Token计数2.2 工具功能说明PyPDF2处理PDF文本提取适合简单的文本型PDFpython-docx处理Word文档sentence-transformers提供高质量的文本嵌入模型FAISSFacebook开发的向量相似度搜索库适合本地部署LangChain提供文档处理流水线的高级抽象tiktokenOpenAI的Token计数工具帮助控制上下文长度2.3 版本兼容性考虑在实际项目中工具版本冲突是常见问题。以下组合经过测试验证工具推荐版本关键兼容点PyPDF23.0.0修复了某些PDF的解析问题sentence-transformers2.2.0支持最新的嵌入模型faiss-cpu1.7.0与numpy版本兼容openai0.27.0支持最新的API接口注意如果使用Anaconda环境建议先创建独立环境再安装依赖避免与已有包冲突。3. 实现PDF文档处理流水线下面以一个技术规范PDF文档为例展示完整的处理流程。3.1 文档解析与文本清理import PyPDF2 import re from typing import List def extract_text_from_pdf(pdf_path: str) - str: 从PDF提取文本并进行基础清理 text with open(pdf_path, rb) as file: reader PyPDF2.PdfReader(file) for page in reader.pages: page_text page.extract_text() # 清理多余的换行和空格 page_text re.sub(r\n, , page_text) page_text re.sub(r\s, , page_text) text page_text \n return text.strip() # 示例使用 pdf_text extract_text_from_pdf(technical_spec.pdf) print(f提取文本长度: {len(pdf_text)} 字符)PDF解析的质量直接影响后续效果。常见问题包括扫描版PDF无法提取文本需要OCR预处理复杂版式导致文本顺序错乱页眉页脚等无关内容混入正文3.2 智能文本分块策略简单的按固定长度分块会切断完整句子影响语义完整性。以下实现考虑自然段落边界def smart_chunking(text: str, chunk_size: int 1000, overlap: int 100) - List[str]: 基于句子边界的分块保持语义完整性 # 按句子分割简单实现实际可用nltk或spacy sentences re.split(r[.!?。], text) sentences [s.strip() for s in sentences if len(s.strip()) 10] chunks [] current_chunk for sentence in sentences: # 如果当前块加上新句子不超过限制 if len(current_chunk) len(sentence) chunk_size: current_chunk sentence if current_chunk else sentence else: # 保存当前块并创建新块带重叠 if current_chunk: chunks.append(current_chunk) # 保留重叠部分 overlap_text current_chunk[-overlap:] if len(current_chunk) overlap else current_chunk current_chunk overlap_text sentence else: # 单个句子就超长强制分割 chunks.append(sentence[:chunk_size]) current_chunk sentence[chunk_size-overlap:chunk_size] if current_chunk: chunks.append(current_chunk) return chunks # 应用分块 chunks smart_chunking(pdf_text, chunk_size800, overlap50) print(f生成 {len(chunks)} 个文本块)分块大小的选择需要权衡太小200-500字符可能丢失上下文检索到的信息碎片化适中800-1200字符平衡上下文完整性与检索精度太大2000字符可能包含无关信息浪费token3.3 向量化与索引构建使用sentence-transformers生成文本嵌入并用FAISS建立索引from sentence_transformers import SentenceTransformer import faiss import numpy as np class VectorIndex: def __init__(self, model_nameall-MiniLM-L6-v2): self.model SentenceTransformer(model_name) self.index None self.chunks [] def build_index(self, chunks: List[str]): 构建向量索引 self.chunks chunks embeddings self.model.encode(chunks, show_progress_barTrue) # 创建FAISS索引 dimension embeddings.shape[1] self.index faiss.IndexFlatIP(dimension) # 内积相似度 # 归一化后添加索引 faiss.normalize_L2(embeddings) self.index.add(embeddings) print(f索引构建完成共 {len(chunks)} 个向量) def search(self, query: str, k: int 3) - List[str]: 检索最相关的k个文本块 query_embedding self.model.encode([query]) faiss.normalize_L2(query_embedding) # 搜索 scores, indices self.index.search(query_embedding, k) results [] for i, score in zip(indices[0], scores[0]): if i len(self.chunks): # 边界检查 results.append({ chunk: self.chunks[i], score: float(score) }) return results # 构建索引 vector_index VectorIndex() vector_index.build_index(chunks)4. 设计有效的提示词模板LLM的表现很大程度上取决于提示词质量。在文档问答场景中需要明确约束模型基于提供的上下文回答4.1 基础提示词模板def build_qa_prompt(question: str, context_chunks: List[str]) - str: context \n\n.join([f[片段 {i1}]: {chunk[chunk]} for i, chunk in enumerate(context_chunks)]) prompt f基于以下文档片段回答用户问题。如果文档中没有足够信息回答请明确说明根据提供的文档无法确定答案。 文档片段 {context} 问题{question} 请基于文档内容提供准确、简洁的回答 return prompt4.2 高级提示词技巧对于复杂问题可以设计多步思考的提示词def build_advanced_prompt(question: str, context_chunks: List[str]) - str: context \n\n.join([f--- 片段 {i1} ---\n{chunk[chunk]} for i, chunk in enumerate(context_chunks)]) prompt f你是一个技术文档专家需要基于提供的文档片段回答用户问题。 请按以下步骤思考 1. 分析问题关键词和意图 2. 检查每个文档片段与问题的相关性 3. 从相关片段中提取关键信息 4. 综合信息形成完整答案 文档片段 {context} 问题{question} 思考过程 return prompt5. 集成LLM与完整问答流程将各个组件串联成完整的问答系统import openai from typing import Dict, Any class DocumentQA: def __init__(self, vector_index: VectorIndex, api_key: str): self.vector_index vector_index openai.api_key api_key def ask_question(self, question: str, max_context_tokens: int 4000) - Dict[str, Any]: # 1. 检索相关文本块 relevant_chunks self.vector_index.search(question, k5) # 2. 动态调整上下文长度 selected_chunks self._select_chunks_by_token_limit(relevant_chunks, max_context_tokens) # 3. 构建提示词 prompt build_qa_prompt(question, selected_chunks) # 4. 调用LLM response openai.ChatCompletion.create( modelgpt-3.5-turbo, messages[ {role: system, content: 你是一个准确、可靠的文档助手。}, {role: user, content: prompt} ], temperature0.1, # 低温度确保确定性回答 max_tokens500 ) answer response.choices[0].message.content return { question: question, answer: answer, source_chunks: selected_chunks, prompt_tokens: response.usage.prompt_tokens, completion_tokens: response.usage.completion_tokens } def _select_chunks_by_token_limit(self, chunks: List[Dict], max_tokens: int) - List[Dict]: 根据token限制选择最相关的文本块 import tiktoken encoder tiktoken.encoding_for_model(gpt-3.5-turbo) selected [] current_tokens 0 for chunk in chunks: chunk_tokens len(encoder.encode(chunk[chunk])) if current_tokens chunk_tokens max_tokens: selected.append(chunk) current_tokens chunk_tokens else: break return selected # 使用示例 qa_system DocumentQA(vector_index, your-openai-key) result qa_system.ask_question(文档中提到的性能指标有哪些) print(f问题: {result[question]}) print(f答案: {result[answer]}) print(f使用了 {len(result[source_chunks])} 个来源片段)6. 常见问题与排查指南在实际部署中会遇到各种预期之外的问题。以下是典型问题场景和解决方案6.1 LLM返回无关内容或幻觉现象答案看似合理但与文档内容不符或包含文档中不存在的信息。排查步骤检查检索到的文本块是否真正相关# 调试检索结果 test_question 你的问题 chunks vector_index.search(test_question, k3) for i, chunk in enumerate(chunks): print(f片段 {i1} (相似度: {chunk[score]:.3f}):) print(chunk[chunk][:200] ...) print(---)检查提示词是否明确要求基于上下文回答降低temperature参数减少随机性在系统提示词中强调准确性要求解决方案提高检索质量调整分块大小、使用更好的嵌入模型在提示词中加入更严格的约束对答案进行事实性验证交叉检查来源片段6.2 检索结果不理想现象相关的内容没有被检索到或检索到大量无关内容。可能原因分块大小不合适太大或太小嵌入模型与领域不匹配查询表述与文档表述差异过大优化策略# 尝试不同的分块策略 chunking_strategies [ {size: 500, overlap: 50}, # 小块高精度 {size: 1000, overlap: 100}, # 中等块平衡 {size: 1500, overlap: 150} # 大块更多上下文 ] # 测试不同嵌入模型 models_to_test [ all-MiniLM-L6-v2, # 通用轻量模型 all-mpnet-base-v2, # 通用高质量模型 multi-qa-mpnet-base-dot-v1 # 针对QA优化 ]6.3 上下文长度超限现象API返回token超限错误。处理方案实现动态上下文选择如前面的_select_chunks_by_token_limit方法优先保留相似度最高的片段对长文本块进行摘要后再传入6.4 处理复杂文档结构技术文档通常包含表格、图表、代码片段等特殊内容表格处理def extract_tables_from_pdf(pdf_path): 使用专门库提取表格数据 # 可使用camelot或tabula-py import camelot tables camelot.read_pdf(pdf_path, pagesall) table_texts [] for table in tables: # 将表格转换为描述性文本 df table.df description f表格包含{len(df)}行{len(df.columns)}列数据 # 添加表格摘要描述 table_texts.append(description) return table_texts代码片段处理将代码块单独分块保持完整性在提示词中明确说明代码片段的用途7. 生产环境最佳实践将原型系统部署到生产环境需要考虑更多工程因素7.1 性能优化批量处理文档from concurrent.futures import ThreadPoolExecutor def batch_process_documents(doc_paths: List[str], chunk_size: int 1000): 并行处理多个文档 with ThreadPoolExecutor(max_workers4) as executor: futures [] for path in doc_paths: future executor.submit(process_single_document, path, chunk_size) futures.append(future) results [f.result() for f in futures] return results向量索引持久化# 保存索引 faiss.write_index(vector_index.index, document_index.faiss) with open(chunks.pkl, wb) as f: pickle.dump(vector_index.chunks, f) # 加载索引 loaded_index faiss.read_index(document_index.faiss) with open(chunks.pkl, rb) as f: loaded_chunks pickle.load(f)7.2 质量监控建立答案质量评估机制def evaluate_answer_quality(question: str, answer: str, source_chunks: List[Dict]) - Dict: 评估答案质量 metrics {} # 1. 来源支持度检查 relevant_keywords extract_keywords(question) support_score calculate_support_score(answer, source_chunks, relevant_keywords) metrics[support_score] support_score # 2. 答案相关性评估 relevance assess_relevance(question, answer) metrics[relevance] relevance # 3. 完整性检查 completeness assess_completeness(question, answer) metrics[completeness] completeness return metrics7.3 安全与合规数据隐私敏感文档应在本地处理避免通过API传输内容审核对用户问题和LLM回答进行适当过滤使用限制实施速率限制和用量监控7.4 可扩展架构对于企业级应用考虑微服务架构文档处理服务 → 向量索引服务 → LLM网关服务 → 前端API服务每个服务独立部署、扩展和监控提高系统可靠性。文档处理是LLM应用中最实用也最复杂的场景之一。成功的实现不仅需要技术组件的正确集成更需要深入理解业务需求和数据特性。从准确解析文档开始到设计合理的分块策略再到优化检索和提示词每个环节都需要根据具体用例进行调优。最重要的是建立持续改进的机制通过用户反馈和质量评估不断优化系统表现。
在实际项目中使用大语言模型处理文档时很多开发者会遇到一个共同的问题如何将非结构化的文档内容有效地传递给LLM并得到准确、可靠的回答。无论是处理PDF报告、Word文档还是网页内容直接上传整个文件往往超出模型上下文限制而简单截断又会丢失关键信息。这背后涉及文档解析、分块策略、向量化检索和提示词工程等一系列技术决策。本文将以一个具体的PDF文档问答场景为例完整展示从原始文档处理到最终答案生成的实现路径。重点不仅在于代码怎么写更在于为什么选择某种分块大小、如何评估检索质量、以及当LLM返回无关内容时应该从哪些环节排查。1. 理解LLM文档处理的基本工作流LLM本身并不直接“阅读”PDF或Word文件而是处理文本内容。完整的文档处理流程可以分解为几个核心环节1.1 文档解析与文本提取不同格式的文档需要不同的解析工具。PDF文档可能包含文本层、扫描图像和复杂版式Word文档有样式信息HTML页面则包含标记。解析阶段的目标是尽可能干净地提取出可读的文本内容同时保留一定的结构信息如标题层级、列表项。1.2 文本分块与向量化LLM有上下文长度限制如GPT-4的128K tokens但实际文档可能远超这个限制。需要将长文档切分成适当大小的文本块每个块既要保持语义完整性又要足够小以适应模型窗口。分块后通过嵌入模型将文本转换为向量表示便于后续的相似度检索。1.3 检索增强生成RAG当用户提出问题时系统不是将整个文档传给LLM而是先从向量数据库中检索与问题最相关的几个文本块然后将这些相关片段作为上下文与问题一起提交给LLM。这种检索增强的方式既解决了上下文限制问题又提高了答案的相关性。1.4 提示词设计与结果验证LLM需要明确的指令来理解任务。在文档问答场景中提示词需要指定回答应基于提供的上下文对不确定的内容应明确说明而不是虚构信息。同时需要建立验证机制来评估答案质量。2. 环境准备与工具选型实现一个完整的文档处理系统需要多个组件的配合。以下是基于Python生态的典型技术栈2.1 核心依赖库# 文档解析 pip install pypdf2 python-docx beautifulsoup4 # 文本处理与向量化 pip install sentence-transformers faiss-cpu # LLM接口 pip install openai langchain # 实用工具 pip install tiktoken # Token计数2.2 工具功能说明PyPDF2处理PDF文本提取适合简单的文本型PDFpython-docx处理Word文档sentence-transformers提供高质量的文本嵌入模型FAISSFacebook开发的向量相似度搜索库适合本地部署LangChain提供文档处理流水线的高级抽象tiktokenOpenAI的Token计数工具帮助控制上下文长度2.3 版本兼容性考虑在实际项目中工具版本冲突是常见问题。以下组合经过测试验证工具推荐版本关键兼容点PyPDF23.0.0修复了某些PDF的解析问题sentence-transformers2.2.0支持最新的嵌入模型faiss-cpu1.7.0与numpy版本兼容openai0.27.0支持最新的API接口注意如果使用Anaconda环境建议先创建独立环境再安装依赖避免与已有包冲突。3. 实现PDF文档处理流水线下面以一个技术规范PDF文档为例展示完整的处理流程。3.1 文档解析与文本清理import PyPDF2 import re from typing import List def extract_text_from_pdf(pdf_path: str) - str: 从PDF提取文本并进行基础清理 text with open(pdf_path, rb) as file: reader PyPDF2.PdfReader(file) for page in reader.pages: page_text page.extract_text() # 清理多余的换行和空格 page_text re.sub(r\n, , page_text) page_text re.sub(r\s, , page_text) text page_text \n return text.strip() # 示例使用 pdf_text extract_text_from_pdf(technical_spec.pdf) print(f提取文本长度: {len(pdf_text)} 字符)PDF解析的质量直接影响后续效果。常见问题包括扫描版PDF无法提取文本需要OCR预处理复杂版式导致文本顺序错乱页眉页脚等无关内容混入正文3.2 智能文本分块策略简单的按固定长度分块会切断完整句子影响语义完整性。以下实现考虑自然段落边界def smart_chunking(text: str, chunk_size: int 1000, overlap: int 100) - List[str]: 基于句子边界的分块保持语义完整性 # 按句子分割简单实现实际可用nltk或spacy sentences re.split(r[.!?。], text) sentences [s.strip() for s in sentences if len(s.strip()) 10] chunks [] current_chunk for sentence in sentences: # 如果当前块加上新句子不超过限制 if len(current_chunk) len(sentence) chunk_size: current_chunk sentence if current_chunk else sentence else: # 保存当前块并创建新块带重叠 if current_chunk: chunks.append(current_chunk) # 保留重叠部分 overlap_text current_chunk[-overlap:] if len(current_chunk) overlap else current_chunk current_chunk overlap_text sentence else: # 单个句子就超长强制分割 chunks.append(sentence[:chunk_size]) current_chunk sentence[chunk_size-overlap:chunk_size] if current_chunk: chunks.append(current_chunk) return chunks # 应用分块 chunks smart_chunking(pdf_text, chunk_size800, overlap50) print(f生成 {len(chunks)} 个文本块)分块大小的选择需要权衡太小200-500字符可能丢失上下文检索到的信息碎片化适中800-1200字符平衡上下文完整性与检索精度太大2000字符可能包含无关信息浪费token3.3 向量化与索引构建使用sentence-transformers生成文本嵌入并用FAISS建立索引from sentence_transformers import SentenceTransformer import faiss import numpy as np class VectorIndex: def __init__(self, model_nameall-MiniLM-L6-v2): self.model SentenceTransformer(model_name) self.index None self.chunks [] def build_index(self, chunks: List[str]): 构建向量索引 self.chunks chunks embeddings self.model.encode(chunks, show_progress_barTrue) # 创建FAISS索引 dimension embeddings.shape[1] self.index faiss.IndexFlatIP(dimension) # 内积相似度 # 归一化后添加索引 faiss.normalize_L2(embeddings) self.index.add(embeddings) print(f索引构建完成共 {len(chunks)} 个向量) def search(self, query: str, k: int 3) - List[str]: 检索最相关的k个文本块 query_embedding self.model.encode([query]) faiss.normalize_L2(query_embedding) # 搜索 scores, indices self.index.search(query_embedding, k) results [] for i, score in zip(indices[0], scores[0]): if i len(self.chunks): # 边界检查 results.append({ chunk: self.chunks[i], score: float(score) }) return results # 构建索引 vector_index VectorIndex() vector_index.build_index(chunks)4. 设计有效的提示词模板LLM的表现很大程度上取决于提示词质量。在文档问答场景中需要明确约束模型基于提供的上下文回答4.1 基础提示词模板def build_qa_prompt(question: str, context_chunks: List[str]) - str: context \n\n.join([f[片段 {i1}]: {chunk[chunk]} for i, chunk in enumerate(context_chunks)]) prompt f基于以下文档片段回答用户问题。如果文档中没有足够信息回答请明确说明根据提供的文档无法确定答案。 文档片段 {context} 问题{question} 请基于文档内容提供准确、简洁的回答 return prompt4.2 高级提示词技巧对于复杂问题可以设计多步思考的提示词def build_advanced_prompt(question: str, context_chunks: List[str]) - str: context \n\n.join([f--- 片段 {i1} ---\n{chunk[chunk]} for i, chunk in enumerate(context_chunks)]) prompt f你是一个技术文档专家需要基于提供的文档片段回答用户问题。 请按以下步骤思考 1. 分析问题关键词和意图 2. 检查每个文档片段与问题的相关性 3. 从相关片段中提取关键信息 4. 综合信息形成完整答案 文档片段 {context} 问题{question} 思考过程 return prompt5. 集成LLM与完整问答流程将各个组件串联成完整的问答系统import openai from typing import Dict, Any class DocumentQA: def __init__(self, vector_index: VectorIndex, api_key: str): self.vector_index vector_index openai.api_key api_key def ask_question(self, question: str, max_context_tokens: int 4000) - Dict[str, Any]: # 1. 检索相关文本块 relevant_chunks self.vector_index.search(question, k5) # 2. 动态调整上下文长度 selected_chunks self._select_chunks_by_token_limit(relevant_chunks, max_context_tokens) # 3. 构建提示词 prompt build_qa_prompt(question, selected_chunks) # 4. 调用LLM response openai.ChatCompletion.create( modelgpt-3.5-turbo, messages[ {role: system, content: 你是一个准确、可靠的文档助手。}, {role: user, content: prompt} ], temperature0.1, # 低温度确保确定性回答 max_tokens500 ) answer response.choices[0].message.content return { question: question, answer: answer, source_chunks: selected_chunks, prompt_tokens: response.usage.prompt_tokens, completion_tokens: response.usage.completion_tokens } def _select_chunks_by_token_limit(self, chunks: List[Dict], max_tokens: int) - List[Dict]: 根据token限制选择最相关的文本块 import tiktoken encoder tiktoken.encoding_for_model(gpt-3.5-turbo) selected [] current_tokens 0 for chunk in chunks: chunk_tokens len(encoder.encode(chunk[chunk])) if current_tokens chunk_tokens max_tokens: selected.append(chunk) current_tokens chunk_tokens else: break return selected # 使用示例 qa_system DocumentQA(vector_index, your-openai-key) result qa_system.ask_question(文档中提到的性能指标有哪些) print(f问题: {result[question]}) print(f答案: {result[answer]}) print(f使用了 {len(result[source_chunks])} 个来源片段)6. 常见问题与排查指南在实际部署中会遇到各种预期之外的问题。以下是典型问题场景和解决方案6.1 LLM返回无关内容或幻觉现象答案看似合理但与文档内容不符或包含文档中不存在的信息。排查步骤检查检索到的文本块是否真正相关# 调试检索结果 test_question 你的问题 chunks vector_index.search(test_question, k3) for i, chunk in enumerate(chunks): print(f片段 {i1} (相似度: {chunk[score]:.3f}):) print(chunk[chunk][:200] ...) print(---)检查提示词是否明确要求基于上下文回答降低temperature参数减少随机性在系统提示词中强调准确性要求解决方案提高检索质量调整分块大小、使用更好的嵌入模型在提示词中加入更严格的约束对答案进行事实性验证交叉检查来源片段6.2 检索结果不理想现象相关的内容没有被检索到或检索到大量无关内容。可能原因分块大小不合适太大或太小嵌入模型与领域不匹配查询表述与文档表述差异过大优化策略# 尝试不同的分块策略 chunking_strategies [ {size: 500, overlap: 50}, # 小块高精度 {size: 1000, overlap: 100}, # 中等块平衡 {size: 1500, overlap: 150} # 大块更多上下文 ] # 测试不同嵌入模型 models_to_test [ all-MiniLM-L6-v2, # 通用轻量模型 all-mpnet-base-v2, # 通用高质量模型 multi-qa-mpnet-base-dot-v1 # 针对QA优化 ]6.3 上下文长度超限现象API返回token超限错误。处理方案实现动态上下文选择如前面的_select_chunks_by_token_limit方法优先保留相似度最高的片段对长文本块进行摘要后再传入6.4 处理复杂文档结构技术文档通常包含表格、图表、代码片段等特殊内容表格处理def extract_tables_from_pdf(pdf_path): 使用专门库提取表格数据 # 可使用camelot或tabula-py import camelot tables camelot.read_pdf(pdf_path, pagesall) table_texts [] for table in tables: # 将表格转换为描述性文本 df table.df description f表格包含{len(df)}行{len(df.columns)}列数据 # 添加表格摘要描述 table_texts.append(description) return table_texts代码片段处理将代码块单独分块保持完整性在提示词中明确说明代码片段的用途7. 生产环境最佳实践将原型系统部署到生产环境需要考虑更多工程因素7.1 性能优化批量处理文档from concurrent.futures import ThreadPoolExecutor def batch_process_documents(doc_paths: List[str], chunk_size: int 1000): 并行处理多个文档 with ThreadPoolExecutor(max_workers4) as executor: futures [] for path in doc_paths: future executor.submit(process_single_document, path, chunk_size) futures.append(future) results [f.result() for f in futures] return results向量索引持久化# 保存索引 faiss.write_index(vector_index.index, document_index.faiss) with open(chunks.pkl, wb) as f: pickle.dump(vector_index.chunks, f) # 加载索引 loaded_index faiss.read_index(document_index.faiss) with open(chunks.pkl, rb) as f: loaded_chunks pickle.load(f)7.2 质量监控建立答案质量评估机制def evaluate_answer_quality(question: str, answer: str, source_chunks: List[Dict]) - Dict: 评估答案质量 metrics {} # 1. 来源支持度检查 relevant_keywords extract_keywords(question) support_score calculate_support_score(answer, source_chunks, relevant_keywords) metrics[support_score] support_score # 2. 答案相关性评估 relevance assess_relevance(question, answer) metrics[relevance] relevance # 3. 完整性检查 completeness assess_completeness(question, answer) metrics[completeness] completeness return metrics7.3 安全与合规数据隐私敏感文档应在本地处理避免通过API传输内容审核对用户问题和LLM回答进行适当过滤使用限制实施速率限制和用量监控7.4 可扩展架构对于企业级应用考虑微服务架构文档处理服务 → 向量索引服务 → LLM网关服务 → 前端API服务每个服务独立部署、扩展和监控提高系统可靠性。文档处理是LLM应用中最实用也最复杂的场景之一。成功的实现不仅需要技术组件的正确集成更需要深入理解业务需求和数据特性。从准确解析文档开始到设计合理的分块策略再到优化检索和提示词每个环节都需要根据具体用例进行调优。最重要的是建立持续改进的机制通过用户反馈和质量评估不断优化系统表现。
双梁正问题 【 torch 实战】（Python代码实现）)
