企业官网建设流程全解析

做月亮的网站背景图片,小程序变成网页链接,wordpress搬家方法,环评登记表在哪个网站做本文详细介绍了RAG应用的经典架构与流程#xff0c;包括数据索引#xff08;加载、分割、嵌入、索引#xff09;和数据查询#xff08;检索、生成#xff09;阶段#xff0c;以及检索前处理与后处理等扩展阶段。分析了RAG面临的五大挑战#xff1a;检索精确度、大模型抗…本文详细介绍了RAG应用的经典架构与流程包括数据索引加载、分割、嵌入、索引和数据查询检索、生成阶段以及检索前处理与后处理等扩展阶段。分析了RAG面临的五大挑战检索精确度、大模型抗干扰能力、上下文窗口限制、RAG与微调选择、响应性能问题。最后探讨了RAG架构从Naive RAG到Advanced RAG再到Modular RAG的演进历程展示了技术向灵活模块化方向发展的趋势。一、RAG 应用的经典架构与流程在了解了 RAG 的一些基本概念与简单的应用场景后我们从技术层来看一个最基础、最常见的 RAG 应用的逻辑架构与流程。注意在这张图中仅展示了一个最小粒度的 RAG 应用的基础原理而在当今的实际 RAG 应用中对于不同的应用场景、客观条件、工程要求会有更多的模块、架构与流程的优化设计。在通常情况下可以把开发一个简单的 RAG 应用从整体上分为数据索引 Indexing 与数据查询 Query 两个大的阶段在每个阶段都包含不同的处里阶段。这些主要的阶段用如下图表示1.1、数据索引阶段既然RAG的核心之一是通过检索来增强生成那么首先需要准备可以检索的内容。在传统的计算机检索技术中最常用的是基于关键词的检索比如传统的搜索引擎或者关系数据库通过关键词的匹配程度来对知识库中的信息进行精确或模糊的检索计算相关性按照相关性的排序输出但是在大模型的RAG应用中最常见的检索方式是借助基于向量的语义检索来获得相关的数据块并根据其相似度排序最后输出最相关的前K个数据块简称 top_K )。因此向量存储索引就成了RAG应用中最常见的索引形式。向量是一种数学表示方法它将文本、图像、音频等复杂信息转换为高维空间中的点每个维度都代表一种特征或属性。这种转换使得计算机可以理解和处理这些信息因为它们都是连续的多个数值。向量保留了词汇之间的语义关系。例如相似的词在向量空间中距离较近这样就可以进行语义相似度计算或进行聚类分析。自然语言处理中用于把各种形式的信息转换成向量表示的模型叫嵌入模型。基于向量的语义检索就是通过计算查询词与已有信息向量的相似度如余弦相似度找出与查询词在语义上最接近的信息。数据索引阶段通常包含以下几个关键阶段。(1加载 Loading ): RAG应用需要的知识可能以不同的形式与模态存在可以是结构化的、半结构化的、非结构化的、存在于互联网上或者企业内部的、普通文档或者问答对。因此对这些知识需要能够连接与读取内容。(2分割 Splitting )为了更好地进行检索需要把较大的知识内容一个 Word / PDF 文档、一个 Excel 文档、一个网页或者数据库中的表等进行分割然后对这些分割的知识块通常称为 Chunk 进行索引。当然这就会涉及一系列的分割规则比如知识块分割成多大最合适在文档中用什么标记个段落的结尾(3嵌入 Embedding )如果你需要开发 RAG 应用中最常见的向量存储索引那么需要对分割后的知识块做嵌人。简单地说就是把分割后的知识块转换为一个高维比如1024维等的向量。嵌入的过程需要借助商业或者开源的嵌入模型 Embedding Model 来完成比如 OpenAI 的text-embedding-3-small 模型。(4索引 Indexing )对于向量存储索引来说需要将嵌入阶段生成的向量存储到内存或者磁盘中做持久化存储。在实际应用中通常建议使用功能全面的向量数据库简称向量库进行存储与索引。向量库会提供强大的向量检索算法与管理接口这样可以很方便地对输入问题进行语义检索。注意在高级的 RAG 应用中索引形式往往并不只有向量存储索引这一种。因此在这个阶段很多应用会根据自身的需要来构造其他形式的索引比如知识图谱索引、关键词表索引等。1.2、数据查询阶段在数据索引准备完成后 RAG 应用在数据查询阶段的两大核心阶段是检索与生成也称为合成。(1检索 Retrieval )检索的作用是借助数据索引比如向量存储索引,从存储库比如向量库中检索出相关知识块并按照相关性进行排序经过排序后的知识块将作为参考上下文用于后面的生成。(2生成 Generation )生成的核心是大模型可以是本地部署的大模型也可以是基于 API 访问的远程大模型。生成器根据检索阶段输出的相关知识块与用户原始的查询问题借助精心设计的 Prompt 生成内容并输出结果。以上是一个经典 RAG 应用所包含的主要阶段。随着 RAG 范式与架构的不断演进与优化有一些新的处理阶段被纳入流程其中典型的两个阶段为检索前处理与检索后处理。(1检索前处理 Pre-Retrieval )顾名思义这是检索之前的步骤。在一些优化的 RAG 应用流程中检索前处理通常用于完成诸如查询转换、查询扩充、检索路由等处理工作其目的是为后面的检索与检索后处理做必要准备以提高检索阶段召回知识的精确度与最终生成的质量。(2检索后处理 Post-Retrieval )与检索前处理相对应这是在完成检索后对检索出的相关知识块做必要补充处理的阶段。比如对检索的结果借助更专业的排序模型与算法进行重排序或者过滤掉一些不符合条件的知识块等使得最需要、最合规的知识块处于上下文的最前端这有助于提高大模型的输出质量。二、RAG 应用面临的挑战尽管 RAG 用一种非常简洁且易于理解的方法在很大程度上提高了大模型在专业领域任务上的适应性极大地增强了大模型在大量应用特别是企业级应用上的输出准确性但是日益丰富的应用场景给 RAG 应用带来了更多的挑战。当然这些挑战也是促进 RAG 应用不断出现新的架构与优化方法的动力。目前传统的 RAG 应用面临的挑战如下。2.1、检索召回的精确度RAG 思想是借助临时的语义检索来给大模型补充知识营养以便让大模型能够更好地生成高质量结果。检索出的外部知识块足够精确与全面就是后面生成阶段的重要保障。自然语言具有天然的复杂性检索技术具有模糊性检索出的知识块如果带有大量的无用、噪声数据甚至矛盾的信息就会影响大模型的生成质量。2.2、大模型自身对抗干扰的能力对于检索出的上下文中携带的相关的外部知识块的干扰信息、多余信息矛盾信息等大模型需要能够尽量推理识别与区分并能够很好地按照Prompt进行输出因此大模型本身的能力是影响最终生成质量的重要因素。2.3、上下文窗口的限制大模型存在输人和输出上下文窗口的限制最大 token 数量。简单地说你与大模型一次会话的数据量是存在大小限制的。如果你需要在一个大规模约外部知识库中检索出更多的相关知识块并将其交给大模型就可能会打破这种窗口限制从而导致失败。如何在窗口限制内尽可能多地携带更多的知识块是RAG应用开发时需要注意的常见问题之一。2.4、RAG与微调的选择模型微调 Fine-tuning 是一种让大模型更好地适应领域与行业环境的常见方法。与 RAG 相比微调把垂直领域的知识变成大模型的训练语料把生成优化的时间提前到大模型使用前简化了应用架构。那么对于 RAG 与微词应该如何选择、配合、协调以便最大限度地提高大模型的输出能力呢这也是很多人经常纠结的问题之一。2.5、响应性能问题与大模型直接输出相比 RAG 应用无疑增加了更多的处理步骤且随着人们对 RAG 范式的研究深入更复杂的 RAG 范式会带来更多的处理阶段比如需要多次借助大模型完成选代优化。这样优化的 RAG 范式虽然会带来更优质的输出结果但同时与端到端的响应性能下降是矛盾的。那么在一些对延迟时间较敏感的企业级应用场景中如何兼顾最终输出的质量与较短的响应延迟时间就成了开发者的一大挑战。三、RAG应用架构的演进3.1、Naive RAG 朴素RAG或经典RAG阶段这代表了最早的经典 RAG 思想。这个阶段的 RAG 遵循传统的基础顺序流程包含3个主要的模块与阶段索引、检索与生成。 Naive RAG 的特点是只保留最简单的过程 Node 节点且顺序式执行。3.2、 Advanced RAG 高级RAG阶段Advanced RAG 在 Naive RAG 的基础上对索引、检索与生成这3个主要阶段进行了增强特别是在检索阶段增加了检索前处理与检索后处理。3.3、Modular RAG 模块化RAG阶段Native RAG 与 Advanced RAG 都是链式的、顺序式的 RAG 范式而 Modular RAG 超越了这两种传统的 RAG 范式展示了一种更灵活、更自由、具备高度扩展性的 RAG 范式。 Modular RAG 的基本思想如下将 RAG 应用中的各个阶段细分成了多个模块类代表 RAG 应用中的一个核心流程比如预检索、模块代表一个核心流程中的功能模块比如预检索中的查询转换与算法代表模块的一种实现方法比如查询转换可以有普通重写、后退式重写、 HyDE 重写等。这些模块与算法之间不再有固定的选择与顺序流程而是由使用者根据应用场景灵活组合构造更适合自己的 RAG 工作流。Modular RAG 的好处是具备了极强的扩展性与灵活性。一方面随着研究的深入和更多优化理论的出现可以出现更多的模块与算法另一方面使用作流。者可以根据自身的需要灵活地组合不同的模块和算法构造更灵活的 RAG 工来实现更复杂的 RAG 工作流从而实现特定的优化目标。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2025 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取