从零构建RAG系统：Embedding模型、文本分块与向量数据库实战指南-北京尧图网络

如果你正在尝试让大模型“读懂”你的文档、回答你的问题却发现它要么胡言乱语要么对最新的资料一无所知那么你遇到的正是大模型应用落地的核心瓶颈如何让模型获取并理解私有、实时、海量的知识。RAG检索增强生成正是为解决这一问题而生的技术范式。它没有选择代价高昂的模型微调而是巧妙地引入了一个“外部知识库”让模型在回答前先“查资料”。听起来很美好但当你真正动手搭建时往往会陷入一连串的困惑文本到底该怎么切分Embedding模型怎么选向量数据库那么多哪个适合我为什么我的RAG系统回答得还不如直接问模型本文将从零开始拆解一个完整RAG系统的每一个核心组件。我们不只讲“是什么”更会深入“为什么”和“怎么做”通过一个可运行的实战项目带你一次性搞懂Embedding模型、Chunking策略、向量数据库以及它们如何协同工作。读完本文你将能独立搭建一个可用的RAG系统并理解其中每一个设计决策背后的权衡。1. RAG要解决的根本问题大模型的“知识失忆症”在深入技术细节前我们必须先达成一个共识RAG不是万能的但它精准地解决了一类特定且普遍的问题。想象一下你有一个包含公司所有产品手册、技术白皮书和客户支持记录的庞大文档库。当你向ChatGPT询问某个特定产品的故障排查步骤时它大概率无法给出正确答案因为它从未“见过”你的内部文档。这就是大模型的“静态知识”局限——它的知识截止于训练数据无法访问训练后产生或私有的信息。传统解决方案有两种但各有致命伤微调Fine-tuning将你的文档灌入模型让它“学习”新知识。这就像为了记住一本新书去重塑一个人的大脑。成本极高、过程复杂且每次知识更新都需要重新训练难以维护。长上下文Long Context把整篇文档作为提示词输入。这就像在提问前先把一本几百页的书塞给模型让它现场阅读。不仅消耗巨大的计算资源Token费用激增而且模型对长文本中细节的理解和定位能力会急剧下降导致“中间迷失”现象。RAG提供了一条更优雅的路径它不改变模型本身而是为模型配备了一个高效的“外部记忆系统”。这个系统的工作流程可以概括为“先检索后生成”检索Retrieve当用户提问时系统不是直接把问题扔给大模型而是先从你的知识库中快速找到与问题最相关的文档片段。增强Augment将这些相关的片段作为“参考资料”和用户问题一起组合成一个新的、信息更丰富的提示Prompt。生成Generate大模型基于这个包含了精准参考资料的提示来生成最终答案。这样一来答案的准确性和可靠性不再完全依赖于模型的内置知识而是建立在检索到的真实文档基础上。RAG成功的关键就在于构建一个快速、精准的“检索系统”。而这个系统的三大支柱正是Chunking文本分块、Embedding向量化和向量数据库。2. 核心组件深度解析不只是三个名词2.1 Chunking如何把一本书拆成有用的“卡片”Chunking文本分块是RAG流水线的第一步也是最容易被低估的一步。它的目标是将长文档分解成大小适中、语义相对完整的片段以便后续嵌入和检索。分块策略的好坏直接决定了检索质量的上限。常见的分块误区与策略固定长度分块最简单的方法比如每256个字符切一刀。问题可能粗暴地切断一个完整的句子或段落导致语义碎片化。检索到的“半句话”无法提供有效上下文。按分隔符分块根据段落\n\n、句号、标题等自然分隔符切割。改进更好地保持了语义单元但可能产生过长或过短的块。递归分块一种分层的方法。先按大分隔符如\n\n分块如果块太大再按小分隔符如句号、逗号进一步分割直到块大小落在预设范围内。这是目前最常用且效果较好的策略。基于语义的分块利用模型或算法理解文本语义在语义边界处进行切割。这是更高级的方法但计算成本更高。实战建议对于大多数应用递归分块是一个不错的起点。你需要关注两个核心参数chunk_size每个块的大小通常以字符数或Token数计。太小则信息不完整太大则可能包含无关噪声影响检索精度。一般建议在256-1024字符之间调整。chunk_overlap块与块之间的重叠字符数。这能防止重要的上下文尤其是那些恰好落在分界处的信息被完全割裂。通常设置为chunk_size的10%-20%。2.2 Embedding让计算机“理解”文本的数学魔法如果说Chunking是把书拆成了卡片那么Embedding就是为每一张卡片生成一个独一无二的“数字指纹”。这个指纹是一个高维向量例如768或1024维的浮点数数组其核心特性是语义相似的文本其向量在空间中的距离也相近。Embedding模型是如何工作的它经过海量文本对的训练学会了将文本映射到一个高维向量空间。在这个空间中“猫”和“狗”的向量距离会比“猫”和“汽车”的向量距离更近“如何备份数据库”和“数据库恢复步骤”的向量也会非常接近。如何选择Embedding模型这是一个关键决策点直接影响检索质量。通用vs.领域专用text-embedding-ada-002(OpenAI)、BGE系列智源、M3E等是优秀的通用模型。如果你的领域非常特殊如生物医学、法律可能需要寻找或微调领域专用模型。多语言支持如果你的文档包含多种语言需要选择像BGE-m3、multilingual-e5这类多语言模型。向量维度维度越高通常表征能力越强但也会增加存储和计算成本。需要权衡。本地部署vs.API调用OpenAI的API简单易用但涉及网络和数据出境。BGE、SentenceTransformers等模型可以本地部署保障数据隐私。一个关键洞见Embedding模型的质量决定了你知识库的“索引”有多聪明。一个差的Embedding模型即使后面用再好的向量数据库也检索不出正确的内容。2.3 向量数据库海量“指纹”的闪电搜索引擎当你有数百万个文档块每个块都有一个高维向量“指纹”时如何快速找到与问题向量最相似的那几个这就是向量数据库的专长。它本质上是一个为向量相似性搜索最近邻搜索优化的数据库。你存入upsert带向量和元数据如原文、来源的文档块查询时它能在毫秒级返回最相似的K个结果。主流向量数据库选型对比数据库核心特点适用场景ChromaDB轻量、易用、Python/JS原生友好入门首选。原型开发、中小项目、学习研究。Milvus功能全面、性能强劲、生态丰富生产级开源方案。大规模生产环境、需要高吞吐低延迟。Pinecone全托管云服务完全免运维但成本较高。团队无运维能力、追求快速上线、预算充足。QdrantRust编写性能优异API友好云原生设计。对性能有高要求喜欢现代API设计。Weaviate不仅支持向量还内置图数据库能力可进行混合检索。需要结合向量搜索和对象关系查询的复杂场景。选型建议对于学习和大多数中小型应用ChromaDB以其极简的API和零配置起步的优势是绝佳的起点。它让你能专注于理解RAG流程本身而非数据库的复杂性。本文的实战部分也将使用ChromaDB。3. 环境准备搭建你的RAG实验场在开始编码前我们需要准备好Python环境。建议使用Python 3.8以上版本并使用虚拟环境管理依赖。# 1. 创建并激活虚拟环境 (可选但推荐) python -m venv rag_env source rag_env/bin/activate # Linux/Mac # rag_env\Scripts\activate # Windows # 2. 安装核心库 pip install langchain langchain-community langchain-chroma # LangChain框架及Chroma集成 pip install sentence-transformers # 用于本地Embedding模型 pip install chromadb # 向量数据库客户端 pip install pypdf # 用于读取PDF文档 pip install tiktoken # 用于Token计数可选 # 3. 安装Jupyter可选用于交互式实验 pip install notebook关键库说明LangChain一个用于构建LLM应用的流行框架。它提供了RAG流程的高层抽象和组件能极大简化开发。我们用它来串联整个流程。SentenceTransformers一个包含大量预训练句子嵌入模型的库我们用它来生成文本向量。ChromaDB轻量级向量数据库。4. 实战构建一个本地PDF知识库问答系统接下来我们将构建一个完整的RAG系统。假设你有一个名为product_manual.pdf的产品手册目标是让系统能基于手册内容回答用户问题。4.1 第一步文档加载与文本分块我们首先需要读取PDF并将其内容切割成合适的片段。# file: rag_pipeline.py from langchain_community.document_loaders import PyPDFLoader from langchain.text_splitter import RecursiveCharacterTextSplitter # 1. 加载PDF文档 loader PyPDFLoader(./docs/product_manual.pdf) # 假设PDF放在docs文件夹下 documents loader.load() print(f加载了 {len(documents)} 页文档。) # 2. 初始化递归分块器 text_splitter RecursiveCharacterTextSplitter( chunk_size500, # 每个块大约500字符 chunk_overlap50, # 块间重叠50字符 length_functionlen, # 使用字符长度计算 separators[\n\n, \n, 。, , , ] # 分隔符优先级 ) # 3. 执行分块 chunks text_splitter.split_documents(documents) print(f将文档切分为 {len(chunks)} 个文本块。) print(f第一个块的前200字符{chunks[0].page_content[:200]}...)关键点解析PyPDFLoader是LangChain提供的文档加载器之一它还支持Word、HTML、Markdown等多种格式。RecursiveCharacterTextSplitter是我们选择的递归分块策略。separators列表定义了切割的优先级它会尝试用\n\n切如果块还太大再用\n切以此类推。分块后每个chunk都是一个Document对象包含page_content文本内容和metadata元数据如来源页码。4.2 第二步生成向量并存入向量数据库现在我们需要一个Embedding模型来为每个文本块生成向量然后将向量和文本一起存入ChromaDB。# file: rag_pipeline.py (续) from langchain_chroma import Chroma from langchain_community.embeddings import HuggingFaceEmbeddings import os # 1. 初始化本地Embedding模型 # 我们使用一个轻量且效果不错的双语模型BAAI/bge-small-zh-v1.5 model_name BAAI/bge-small-zh-v1.5 model_kwargs {device: cpu} # 使用CPU如果有GPU可改为 cuda encode_kwargs {normalize_embeddings: True} # 归一化向量有利于相似度计算 embeddings HuggingFaceEmbeddings( model_namemodel_name, model_kwargsmodel_kwargs, encode_kwargsencode_kwargs ) # 2. 创建向量数据库持久化到本地目录 ./chroma_db persist_directory ./chroma_db vectordb Chroma.from_documents( documentschunks, # 我们分好的文本块 embeddingembeddings, # 使用的嵌入模型 persist_directorypersist_directory # 指定持久化目录 ) vectordb.persist() # 将数据写入磁盘 print(f向量数据库已创建并持久化到 {persist_directory}。共存储 {vectordb._collection.count()} 个向量。)关键点解析我们选择了BAAI/bge-small-zh-v1.5模型它是一个优秀的开源中英文Embedding模型尺寸小适合本地运行。Chroma.from_documents方法一次性完成了三件事为每个文档块调用Embedding模型生成向量在内存中创建Chroma集合并将向量和文档存入。persist_directory参数至关重要它让数据库能保存到磁盘。下次启动时可以直接加载无需重新生成向量极大节省时间。4.3 第三步构建检索链并进行问答知识库建好了现在来实现问答功能。核心是创建一个“检索器”并将其与大语言模型LLM组合成一条链。# file: rag_pipeline.py (续) from langchain.chains import RetrievalQA from langchain_community.llms import Ollama # 使用本地Ollama运行的模型 # 如果你使用OpenAI API可以替换为from langchain_openai import ChatOpenAI # 1. 从磁盘加载已存在的向量数据库 vectordb Chroma( persist_directorypersist_directory, embedding_functionembeddings ) # 2. 将向量数据库转换为检索器 # search_kwargs{k: 3} 表示每次检索返回最相似的3个文档块 retriever vectordb.as_retriever(search_kwargs{k: 3}) # 3. 初始化大语言模型这里以本地Ollama运行Llama2为例 # 确保你已安装并运行Ollama并拉取了模型ollama pull llama2:7b llm Ollama(modelllama2:7b, temperature0.1) # 如果使用OpenAI API # llm ChatOpenAI(model_namegpt-3.5-turbo, temperature0) # 4. 创建检索问答链 qa_chain RetrievalQA.from_chain_type( llmllm, chain_typestuff, # 最常用的链类型将所有检索到的文档“塞”进提示词 retrieverretriever, return_source_documentsTrue, # 返回源文档便于调试 verboseTrue # 打印详细日志了解内部过程 ) # 5. 进行提问 query 产品的主要安全注意事项有哪些 result qa_chain.invoke({query: query}) print(\n 用户问题 ) print(query) print(\n 模型回答 ) print(result[result]) print(\n 参考来源前2个) for i, doc in enumerate(result[source_documents][:2]): print(f[来源{i1}] {doc.page_content[:150]}...)关键点解析Retriever是检索环节的抽象它接收问题返回相关的文档块。RetrievalQA链是LangChain的核心抽象之一。它内部自动执行了“检索 - 组合Prompt - 调用LLM生成答案”的完整流程。chain_typestuff是一种简单的文档处理方式它把所有检索到的文档内容拼接起来放入上下文窗口。对于更长的文档可以考虑map_reduce、refine等复杂链类型。设置return_source_documentsTrue对于调试和生产都极其重要它可以让你验证答案是否真的来源于你的知识库而不是模型的“幻觉”。5. 运行与验证看看你的RAG系统如何工作运行上面的完整脚本后你应该能看到如下输出加载了 42 页文档。将文档切分为 127 个文本块。向量数据库已创建并持久化到 ./chroma_db。共存储 127 个向量。用户问题产品的主要安全注意事项有哪些模型回答根据产品手册第3章“安全规范”所述使用本产品时需注意以下主要安全事项 1. **电气安全**确保电源电压与产品铭牌标识一致避免在潮湿环境下操作。 2. **操作环境**产品应置于通风、干燥、无易燃易爆物品的环境中。 3. **定期检查**建议每月检查一次电源线和外壳是否有破损。 4. **异常处理**如发现产品冒烟、异响或过热应立即切断电源并联系技术支持。 ... 参考来源前2个 [来源1] ...第三章安全规范 3.1 电气安全用户必须确保输入电压在100-240V AC范围内并使用接地的电源插座。切勿在浴室等潮湿环境附近使用... [来源2] ...3.2 操作环境与维护设备周围应保持至少10厘米的通风空间。禁止用湿布清洁设备表面。定期检查通风口是否被堵塞...如何验证系统工作正常答案相关性检查模型答案是否直接回应了问题。事实准确性对照原始PDF检查答案中的具体信息如电压值、检查周期是否与手册一致。来源可追溯通过source_documents确认答案确实来源于你提供的文档块而不是LLM的固有知识。反问测试问一个手册中绝对没有的问题如“这个产品如何做意大利面”。一个良好的RAG系统应该回答“手册中未提及”或表示无法回答而不是胡编乱造。6. 常见问题与排查指南在构建RAG系统时你几乎一定会遇到以下问题。这里提供清晰的排查思路。问题现象可能原因排查步骤解决方案答案与文档内容不符幻觉1. 检索到的文档块不相关。2. LLM忽略了上下文自行发挥。1. 打印source_documents看检索结果是否相关。2. 检查Prompt是否明确要求模型“基于给定上下文回答”。1. 优化分块策略调整chunk_size。2. 尝试更强的Embedding模型。3. 在Prompt中加强指令如“如果上下文未提供足够信息请回答‘我不知道’”。检索不到任何相关内容1. 问题表述与文档差异大。2. Embedding模型不匹配如用中文模型处理英文。3. 向量数据库未正确存储数据。1. 用vectordb.similarity_search(query)直接测试检索。2. 检查Embedding模型名称和加载是否成功。3. 检查chroma_db目录下是否有文件。1. 对用户问题进行查询重写或扩展。2. 更换或微调Embedding模型。3. 重新运行数据入库流程确认无报错。回答“根据上下文…”但上下文为空检索器返回了空列表。检查retriever的search_kwargs确保k0。检查向量数据库集合是否为空。确保数据已成功入库vectordb._collection.count() 0。程序报错No module named ‘...‘依赖库未安装或版本冲突。确认虚拟环境已激活并使用pip list检查关键库langchain,chromadb,sentence-transformers是否存在。根据错误信息安装缺失的包或参考官方文档安装指定版本。生成答案速度非常慢1. 本地LLM模型过大。2. 检索的k值设置过大。3. 未使用GPU进行Embedding。1. 监控CPU/GPU使用率。2. 检查search_kwargs中的k值。1. 换用更小的LLM如llama2:7b-phi3:mini。2. 适当减小k如从5减到3。3. 将Embedding模型加载到GPUmodel_kwargs{device:cuda}。7. 进阶优化与最佳实践一个能跑通的Demo只是起点。要让RAG系统真正可靠、高效你需要关注以下工程化实践。7.1 优化检索质量超越简单相似度搜索查询扩展将原始问题扩展成多个相关问题再进行检索。例如“如何备份”可以扩展为“备份步骤”、“数据恢复方法”、“备份最佳实践”。混合检索结合向量检索语义相似和关键词检索如BM25。前者理解意图后者保证关键词匹配两者结果融合能提高召回率。重排序初步检索出较多结果如10个后使用一个更精细的重排序模型对结果进行二次评分只保留最相关的3-5个给LLM。这能显著提升精度。元数据过滤在检索时加入过滤器。例如只检索“用户手册_第二章”中的内容或者只检索特定类型如“故障代码”的文档。7.2 优化提示工程让LLM更好地利用上下文你的Prompt直接决定了LLM如何“阅读”检索到的上下文。# 一个更健壮的Prompt模板示例 from langchain.prompts import PromptTemplate prompt_template 请严格根据以下提供的上下文信息来回答问题。如果上下文中的信息不足以回答问题请直接说“根据提供的资料我无法回答这个问题”。不要编造信息。上下文 {context} 问题{question} 请基于上下文提供清晰、准确的答案 PROMPT PromptTemplate( templateprompt_template, input_variables[context, question] ) # 在创建QA链时使用自定义Prompt qa_chain RetrievalQA.from_chain_type( llmllm, chain_typestuff, retrieverretriever, chain_type_kwargs{prompt: PROMPT}, # 传入自定义Prompt return_source_documentsTrue )7.3 生产环境考量数据更新如何增量更新知识库ChromaDB支持upsert你可以为每个文档块生成唯一ID更新时覆盖即可。需要设计好数据版本管理。多路召回与融合实现上述的混合检索、重排序等策略通常需要自己编写更复杂的检索流程而不仅仅是使用默认的as_retriever。评估与监控建立评估体系包括检索相关性检索到的文档是否相关和答案忠实度答案是否严格源自文档。记录用户提问、检索结果和生成答案用于持续优化。安全性确保用户输入经过清洗防止Prompt注入攻击。对LLM的输出进行内容安全过滤。8. 总结从Demo到生产你的RAG学习路线图通过本文的实战你已经掌握了RAG最核心的链条文档 - 分块 - 向量化 - 存储 - 检索 - 增强生成。你搭建的系统虽然简单但已包含了所有关键组件。要将其发展为生产可用的系统你的下一步应该是深化组件理解分别深入研究优秀的Embedding模型如BGE-M3、向量数据库如Milvus的索引类型和分块策略语义分块。引入进阶模式尝试LangChain的Agent或LangGraph来构建更复杂的、带有多步推理和工具调用的RAG流程即Agentic RAG。关注全链路优化学习查询重写、混合检索、重排序等高级检索技术这是提升RAG效果性价比最高的地方。建立评估体系没有评估就没有优化。开始用少量标注数据计算Hit Rate、MRR等指标量化你的系统效果。RAG不是一项单一技术而是一个以LLM为核心、融合了信息检索、数据库、提示工程等多个领域的系统工程。理解每个组件的原理和它们之间的交互是你构建可靠AI应用的关键。本文的代码和概念为你打下了坚实的基础建议你克隆代码用自己的文档进行实验在解决具体问题的过程中你会对RAG有更深刻的理解。

从零构建RAG系统：Embedding模型、文本分块与向量数据库实战指南

相关推荐

CLion与CMake实战：C语言静态库与动态库的创建与调用指南

*C4.5算法：作为ID3的改进算法，使用信息增益率**进行特征选择

数据约束下混合预训练：如何优化数据配比以最大化模型性能

更多资讯

传感器实验报告复现指南：半桥全桥、电子秤定标与差动位移

AI Agent能力扩展：Skill、MCP与插件的三层协同架构

剑指Offer第44题：数字序列中某一位的数字解析

备忘录删除线实现：富文本属性与U+0336组合字符路线选型

AI伦理测试：开发者责任与实操指南

AI服务响应异常排查实战：从告警到根因的分层定位方法

今日更新

猫狗目标检测数据集：VOC/COCO/YOLO三格式一体化实战包

HDU2017多校标程复现：算法竞赛工程化真题沙盒

Codex Sandbox 隔离环境拆解：AI Agent 的临时实验室如何运作

本周精选

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？