#RAG详细解析
RAG详细解析导读 RAG(检索增强生成)是让大模型"查资料再回答"的技术。本系列从核心原理讲到文档处理、切片策略、向量检索、混合检索、重排序、流水线组装,覆盖 RAG 全流程的 18 篇深度解析。 阅读顺序 序 篇目 内容 1 01RAG
图结构:Graph RAG图结构:Graph RAG 传统RAG的套路是:用户问一个问题,去知识库里找到最相关的几段文字,交给大模型生成回答。这个模式处理"单跳"问题很在行——答案就在某一段文档里,找到就行。 但有些问题不是这样的。 比如用户问:"教《Spring
Embedding向量化原理与模型选型Embedding向量化原理与模型选型 假设你是个媒人,手里有1000个单身男女的资料,要给他们配对。 每个人的资料是一段文字描述: 小王:28岁程序员,喜欢打游戏看动漫,宅男一枚,偶尔爬山 小李:26岁设计师,热爱旅行摄影,周末喜欢逛展览
向量数据库选型实战指南向量数据库选型实战指南 买房子要考虑什么? 预算多少?(成本) 几口人住?(规模) 上班远不远?(性能) 将来要换大房子吗?(扩展性) 物业靠不靠谱?(维护成本) 选向量数据库也是一样的逻辑。 没有"最好的"向量数据库,只有"最适合你场景的
混合检索的详细剖析混合检索的详细剖析 向量检索是RAG的核心,但它不是万能的。 来看一个真实场景:你搭了一个技术文档问答系统,知识库里存了几百篇Spring相关的文档。用户问"SpringBoot 3.2.1的启动流程有什么变化",向量检索返回了什么?大概率
向量检索核心算法深度剖析向量检索核心算法深度剖析 前面我们已经把文档块变成了向量,也知道了要把这些向量存到专门的数据库里。但有一个最关键的问题还没解决—— 当用户丢过来一个问题,系统怎么在几十万甚至上百万个向量里,又快又准地挑出最相关的那几条? 最直觉的做法当然是
为什么要问题重写为什么要问题重写 你有没有遇到过这种情况:用户问了一个很正常的问题,RAG系统返回的结果却牛头不对马嘴? 比如在一个在线教育的客服系统里,用户先问了"Python入门课多少钱",助手回答了价格,然后用户接着问"那它有没有证书"——这个"它"
元数据的过滤场景元数据的过滤场景 前面讲了怎么给文本块"上户口"(元数据设计),这篇来聊聊检索的时候怎么用这些户口信息——也就是元数据过滤。 向量检索的核心能力是语义匹配——找到意思最接近的文档。但有些场景下,语义相似不等于答案正确。 举个实际遇到的例子:
重排序的好处是什么重排序的好处是什么 上一篇讲了混合检索,通过向量+关键词两条路并行召回,再用RRF融合,大幅提升了召回率。但有个问题还没解决:召回的文档排序准吗? 打个比方,你是技术主管,要招一个"精通Redis且有分布式系统经验"的后端开发。HR帮你从简
查询的路由是必不可少的查询的路由是必不可少的 你有没有想过一个问题:用户发了一句"你好",你的RAG系统会怎么处理? 如果没做任何分流,它会老老实实地把"你好"丢进向量库做相似度检索,然后可能匹配到"你好,欢迎使用XX产品"之类的文档片段,最后大模型基于这个片段
RAG的组件拼接成流水线RAG的组件拼接成流水线 前面几篇文章,我们逐个拆解了RAG的各个环节:问题改写、意图识别、混合检索、重排序、元数据过滤。每个环节都是独立的模块,各自解决一个具体问题。 但在实际项目中,这些模块需要串起来形成一条完整的流水线。手动串联当然可
RAG入门与核心原理概述RAG入门与核心原理概述 先来看个真实的场景。 某公司花了大价钱接入了某知名大模型,想做一个智能客服。产品经理信心满满地上线了,结果第一天就翻车了 用户问:"你们家XX3000型号打印机的墨盒怎么换?" AI客服回答得头头是道:"首先打开打
分片代码实战:Spring系列分片代码实战:Spring系列 前面讲了分块策略的理论和ChunkViz可视化实验,这篇开始写具体的实现代码。 Java生态中主要有三个框架支持文档分片: 框架 特点 推荐度 Spring AI 官方只提供TokenTextSplitter
RAG三代进化史与架构选型RAG三代进化史与架构选型 还记得诺基亚那个年代吗?手机只能打电话发短信,拍照是奢侈功能,像素还低得可怜。后来有了智能机,拍照能力一代比一代强——从单摄到双摄,从双摄到三摄,从普通拍照到AI算法加持。 RAG技术的演进也是类似的路子。 从最
元数据的详细解析元数据的详细解析 上一篇聊了文档分块的各种姿势,把长文档切成小块之后,你会发现一个问题:每个块就剩一段光秃秃的文字,完全不知道它从哪来、该给谁看、出了问题怎么找。这就像把一本书撕成碎片,每片纸上虽然有字,但没人知道这是哪本书的第几页。 这篇
文档切片策略选择文档切片策略选择 假设你点了一个超大的披萨,18寸的那种。 直接抱着吃?不现实。得切成小块。 但怎么切有讲究: 切太大,嘴巴塞不下 切太小,馅料都掉了,吃起来没味道 切得位置不对,可能把一块完整的培根切成两半 文档分片也是同样的道理。 大模
文档预处理读取清洗与标准化文档预处理读取清洗与标准化 下厨房做饭,第一步是什么? 不是开火,不是切菜,而是洗菜。 买回来的青菜上面有泥土、虫子、农药残留,不洗干净直接下锅,做出来的菜能好吃吗? RAG也是一样的道理。 企业里的文档五花八门——PDF里混着图片和表格,
ChunkViz实验与可视化ChunkViz实验与可视化 上一篇讲了分块策略的理论,但光看文字描述可能还不够直观。 这篇用一个免费的在线工具——ChunkVizhttps://chunkviz.up.railway.app/,来可视化地展示不同分块策略的效果,让你亲眼
搞懂Tika才能做好RAG文档解析搞懂Tika才能做好RAG文档解析 先来个例子。 朋友小陈做了一个内部知识库系统——员工上传各种产品手册和技术文档,然后通过AI问答来检索。系统上线当天,领导试了一下: "我们XX200系列的安装步骤是什么?" AI回答得特别自信: "XX