企业官网建设流程全解析

中移建设招标网站,进什么网站接模具做,私域运营,wordpress为什么自动跳转一、背景AI 大模型在使用的过程中是有一些局限的#xff0c;比如#xff1a;1、数据的及时性#xff1a;大部分 AI 大模型都是预训练的#xff0c;拿 ChatGPT 举例#xff0c;3.5 引擎数据更新时间截止到 2022 年 1 月份#xff0c;4.0 引擎数据更新时间截止到 2023 年 1…一、背景AI 大模型在使用的过程中是有一些局限的比如1、数据的及时性大部分 AI 大模型都是预训练的拿 ChatGPT 举例3.5 引擎数据更新时间截止到 2022 年 1 月份4.0 引擎数据更新时间截止到 2023 年 12 月份也就是说如果我们问一些最新的信息大模型是不知道的。2、复杂任务处理虽然 AI 大模型在问答方面表现出色但它们并不总是能够处理复杂的任务比如直接编辑或优化 Word 文档或 PDF 文件。这些任务通常需要特定的软件工具和用户界面而大模型主要是基于文本的交互多模态除外。3、代码生成与下载我们希望大模型根据需求描述生成对应的代码并提供下载链接大模型也是不支持的。4、与企业应用场景的集成在和企业应用场景打通的时候我们希望大模型读取关系型数据库里的数据并根据提示进行任务处理同样大模型也是不支持的。这样的场景非常多因为大模型的核心能力是意图理解与文本生成而在我们实际应用过程中输入数据和输出数据不仅仅是纯文本。很多时候我们需要解析用户的输入比如把 Word 或 PDF 文件转化为纯文本从一个关系型数据库读取数据转化为大模型的输入数据将大模型的输出内容进行压缩打包并上传至网站供用户下载等等。那这一类任务由谁来做呢那就是AI 智能体也叫 AI Agent。二、AI AgentAI Agent 就是以大语言模型为核心控制器的一套代理系统。举个形象的例子如果把人的大脑比作大模型的话眼睛、耳朵、鼻子、嘴巴、四肢等联合起来叫做 Agent眼睛、耳朵、鼻子感知外界信号作为大脑的输入嘴巴、四肢等根据大脑处理结果形成反馈进行输出形成以大脑为核心控制器的一套系统。控制端处于核心地位承担记忆、思考以及决策制定等基础工作感知模块则负责接收和处理来自外部环境的多样化信息如声音、文字、图像、位置等最后行动模块通过生成文本、API 调用、使用工具等方式来执行任务以及改变环境。相信通过这样的介绍你就明白智能体的概念和结构了接下来我给你介绍一些常见的智能体技术下面我们统称为 Agent。目前比较流行的 Agent 技术有 AutoGen、LangChain 等因为 LangChain 既是开源的又提供了一整套围绕大模型的 Agent 工具可以说使用起来非常方便而且从设计到构建、部署、运维等多方面都提供支持所以下面我们主要介绍一下 LangChain 的应用场景。三、LangChain 介绍起初LangChain 只是一个技术框架使用这个框架可以快速开发 AI 应用程序。这可能是软件开发工程师最容易和 AI 接触的一个点因为我们不需要储备太多算法层面的知识只需要知道如何和模型进行交互也就是熟练掌握模型暴露的 API 接口和参数就可以利用 LangChain 进行应用开发了。LangChain 发展到今天已经不再是一个纯粹的 AI 应用开发框架而是成为了一个 AI 应用程序开发平台它包含 4 大组件。LangChain大模型应用开发框架。LangSmith统一的 DevOps 平台用于开发、协作、测试、部署和监控大模型应用程序同时LangSmith 是一套 Agent DevOps 规范不仅可以用于 LangChain 应用程序还可以用在其他框架下的应用程序中。LangServe部署 LangChain 应用程序并提供 API 管理能力包含版本回退、升级、数据处理等。LangGraph一个用于使用大模型构建有状态、多参与者应用程序的库是 2024 年 1 月份推出的。放到我们传统软件开发场景中我认为 LangChain 就类似于 SpringCloudLangSmith 类似于 Jenkins Docker K8s PrometheusLangServe 类似于 API 网关LangGraph 类似于 Nacos当然只是简单比拟。LangChain 可以说是当前最火的 AI Agent 技术框架GitHub 上拥有超过 80k stars另外使用 MIT 开源协议非常友好自己研究或公司拿来商用都没有问题。不过一切还在快速发展中相信很快就会有更多的技术出来。为什么这么说呢就拿软件开发举例现在的开发流程是开发工程师在 IDEIDEA/Eclipse/VSCode里编写代码然后打包部署测试工程师进行测试然后发布上线。目前看大模型已经具备代码编写的能力理想场景不太可能是由大模型把代码写好我们下载到本地用 IDE 打开然后打包部署、测试这说白了只是替换了目前代码编写的场景。我觉得如果 AI 颠覆软件开发行业一定是从编码到测试再到部署一整套流程的颠覆。当然也必须要配套相关的技术框架、管理工具来支撑比如 Prompt 管理是否还会用 Git会不会有另一套类似于 Git 用来管理 Prompt 的工具代码还会不会存在大模型可否直接生成可执行程序还会有 Jenkins 吗四、LangChain 技术架构接下来我们看一下目前 LangChain 整个平台技术体系不包含 LangGraphLangChain 框架本身包含三大模块。LangChain-Core基础抽象和 LangChain 表达式语言。 LangChain-Community第三方集成。 LangChain构成应用程序认知架构的链、代理和检索策略。4.1、模型 I/OModel I/O模型 I/O 模块主要由三部分组成格式化Format、预测Predict、解析Parse。顾名思议模型 I/O 主要是和大模型打交道前面我们提到过大模型其实可以理解为只接受文本输入和文本输出的模型。此处注意⚠️目前 LangChain 里的大模型是纯文本补全模型不包含多模态模型。格式化在把数据输入到 AI 大模型之前不论它来源于搜索引擎、向量数据库还是第三方系统接口都必须先对数据进行格式化转化成大模型能理解的格式。这就是格式化部分做的事情。预测是指 LangChain 原生支持的丰富的 API可以实现对各个大模型的调用。解析主要是指对大模型返回的文本内容的解析随着多模态模型的日益成熟相信很快就会实现对多模态模型输出结果的解析。4.2、RetrievalRetrieval 可以翻译成检索、抽取就是从各种数据源中将数据抓取过来进行词向量化 EmbeddingWord Embedding、向量数据存储、向量数据检索的过程。你可以结合图片来理解整个过程。4.3、AgentsAgents代理就是指实现具体任务的模块比如从某个第三方接口获取数据用来作为大模型的输入那么获取数据这个模块就可以称为 XXX 代理LangChain 本身支持多个类型的代理当然也可以根据实际需要进行自定义。4.4、Chains链条就是各种各样的顺序调用类似于 Linux 命令里的管道。可以是文件处理链条、SQL 查询链条、搜索链条等等。LangChain 技术体系里链条主要通过 LCELLangChain 表达式实现。既然是主要使用 LCEL 实现那说明还有一部分不是使用 LCEL 实现的链条也就是 LegacyChain一些底层的链条没有通过 LCEL 实现。4.5、Memory内存是指模型的一些输入和输出包含历史对话信息可以放入缓存提升性能使用流程和我们软件开发里缓存的使用一样在执行核心逻辑之前先查询缓存如果查询到就可以直接使用在执行完核心逻辑返回给用户前将内容写入缓存方便后面使用。4.6、CallbacksLangChain 针对各个组件提供回调机制包括链、模型、代理、工具等。回调的原理和普通开发语言里的回调差不多就是在某些事件执行后唤起提前设定好的调用。LangChain 回调有两种构造函数回调和请求回调。构造函数回调只适用于对象本身而请求回调适用于对象本身及其所有子对象。4.7、LCELLangChain 表达式LCEL 是用来构建 Chains 的我们看官方的一个例子。from langchain_core.output_parsers import StrOutputParserfrom langchain_core.prompts import ChatPromptTemplatefrom langchain_openai import ChatOpenAIprompt ChatPromptTemplate.from_template(tell me a short joke about {topic})model ChatOpenAI(modelgpt-4)output_parser StrOutputParser()chain prompt | model | output_parserchain.invoke({topic: ice cream})就像我前面讲到的一样这里的链和 Linux 里的管道很像通过特殊字符 | 来连接不同组件构成复杂链条以实现特定的功能。chain prompt | model | output_parser每个组件的输出会作为下一个组件的输入直到最后一个组件执行完。当然我们也可以通过 LCEL 将多个链关联在一起。chain1 prompt1 | model | StrOutputParser()chain2 ( {city: chain1, language: itemgetter(language)} | prompt2 | model | StrOutputParser())chain2.invoke({person: obama, language: spanish})以上就是 LangChain 技术体系里比较重要的几个核心概念整个设计思想还是比较简单的你只要记住两个核心思想。大模型是核心控制器所有的操作都是围绕大模型的输入和输出在进行。链的概念可以将一系列组件串起来进行功能叠加这对于逻辑的抽象和组件复用是非常关键的。理解这两个思想玩转 LangChain 就不难了下面我举一个 RAG 的例子来说明 Agent 的使用流程。五、Agent 使用案例——RAG大模型是基于预训练的一般大模型训练周期 13 个月因为成本过高所以大模型注定不可能频繁更新知识。正是这个训练周期的问题导致大模型掌握的知识基本上都是滞后的GPT-4 的知识更新时间是 2023 年 12 月份如果我们想要大模型能够理解实时数据或者把企业内部数据喂给大模型进行推理我们必须进行检索增强也就是常说的RAG检索增强生成。就拿下面这个案例来说吧我们可以通过 RAG 技术让大模型支持最新的知识索引。我们先来看一下技术流程图。任务一先通过网络爬虫爬取大量的信息这个和搜索引擎数据爬取过程一样当然这里不涉及 PRPage Rank只是纯粹的知识爬取并向量化存储为了保障我们有最新的数据。任务二用户提问时先把问题向量化然后在向量库里检索将检索到的信息构建成提示喂给大模型大模型处理完进行输出。整个过程涉及两个新的概念一个叫向量化一个叫向量存储你先简单理解下向量化就是将语言通过数学的方式进行表达比如男人这个词通过某种模型向量化后就变成了类似于下面这样的向量数据[0.5,−1.2,0.3,−0.4,0.1,−0.8,1.7,0.6,−1.1,0.9]注意此处只是举例实际使用过程中男人这个词生成的向量数据取决于我们使用的 Embedding 模型这个知识我们会在后面的内容中讲解。向量存储就是将向量化后的数据存储在向量数据库里常见的向量数据库有 Faiss、Milvus我们会在后面的实战部分用到 Faiss。通过任务一、二的结合大模型就可以使用最新的知识进行推理了。当然不一定只有这一种思路比如我们不采取预先爬取最新的数据的方式而是实时调用搜索引擎的接口获取最新数据然后向量化后喂给大模型同样也可以获取结果。在实际的项目中要综合成本、性能等多方面因素去选择最合适的技术方案。那么如何系统的去学习大模型LLM作为一名深耕行业的资深大模型算法工程师我经常会收到一些评论和私信我是小白学习大模型该从哪里入手呢我自学没有方向怎么办这个地方我不会啊。如果你也有类似的经历一定要继续看下去这些问题啊也不是三言两语啊就能讲明白的。所以我综合了大模型的所有知识点给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢我就曾放空大脑以一个大模型小白的角度去重新解析它采用基础知识和实战项目相结合的教学方式历时3个月终于完成了这样的课程让你真正体会到什么是每一秒都在疯狂输出知识点。由于篇幅有限⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》扫码获取~大模型学习指南路线汇总我们这套大模型资料呢会从基础篇、进阶篇和项目实战篇等三大方面来讲解。①.基础篇基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念用最易懂的方式带你入门大模型。②.进阶篇接下来是进阶篇你将掌握RAG、Agent、Langchain、大模型微调和私有化部署学习如何构建外挂知识库并和自己的企业相结合学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。③.实战篇实战篇会手把手带着大家练习企业级的落地项目已脱敏比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等从而帮助大家更好的应对大模型时代的挑战。④.福利篇最后呢会给大家一个小福利课程视频中的所有素材有搭建AI开发环境资料包还有学习计划表几十上百G素材、电子书和课件等等只要你能想到的素材我这里几乎都有。我已经全部上传到CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】相信我这套大模型系统教程将会是全网最齐全 最易懂的小白专用课