企业官网建设流程全解析

网站建设公司自适应源码,建立网站需要多少钱首选y湖南岚鸿品牌,网站管理工具,长沙开发网站的公司RAG已死#xff0c;上下文工程永存#xff1a;从炼金术到工程学 当所有人都在为百万级上下文窗口欢呼时#xff0c;一个残酷的现实被揭开#xff1a;你塞给模型的信息越多#xff0c;它反而变得越笨。 你有没有觉得#xff0c;我们现在开发AI应用特别像在搞一场神秘的炼金…RAG已死上下文工程永存从炼金术到工程学当所有人都在为百万级上下文窗口欢呼时一个残酷的现实被揭开你塞给模型的信息越多它反而变得越笨。你有没有觉得我们现在开发AI应用特别像在搞一场神秘的炼金术我们把各种数据和模型扔进一个黑箱子双手合十期待它能够炼出黄金。有时候它确实能惊艳到我们但更多时候我们面对的是一堆无法解释、难以复现、更别提稳定运行的废渣。更令人沮丧的是昨天还能正常工作的系统今天突然就失灵了——你换了几个参数、调整了提示词、重新训练了embedding但谁也说不清楚到底是哪个改动起了作用或者是不是只是运气好。这个比喻来自Chroma创始人杰夫·哈伯Jeff Huber。在他看来AI开发的现状是从Demo演示到生产环境之间横亘着一条巨大的鸿沟而填平这条鸿沟靠的不是运气或者反复搅拌锅里那堆神秘的玩意儿——而是需要严谨的工程学。一、炼金术困境XKCD漫画的现实版杰夫引用了一幅著名的XKCD漫画一个人站在一堆冒着热气的垃圾山上另一个人问“这就是你的机器学习系统吗”他回答“对呀你把数据倒进这一大堆线性代数里然后在另一边收集答案就行了。”“那要是答案错了怎么办呢”“哦那你就搅一搅直到答案看起来对为止。”炼金术困境这幅漫画在AI圈子里疯传因为它精准地描绘了一个现实整个过程充满不确定性和偶然性感觉不像是一门严谨的工程更像是一种玄学或炼金术。这正是Chroma想要解决的问题。二、Chroma的初心从Demo到生产的鸿沟时间回到2021-2022年大模型热潮才刚刚开始酝酿。杰夫和他的团队已经在应用机器学习领域摸爬滚打多年他们反复经历了一个令人沮丧的循环构建一个惊艳的Demo非常容易但把它变成生产环境中可靠可维护的系统却异常艰难。你是否也有过这样的经历• Demo阶段90%准确率惊艳所有人• 生产环境准确率掉到60%用户投诉如潮• 尝试修复改提示词、调参数、换模型• 最终结果不知道哪个改动有用系统依然不稳定Chroma团队有一个核心信念潜在空间Latent Space——也就是模型理解和表示数据的内部方式——是一个极其重要但被严重低估的工具。它不仅是模型看待世界的方式也应该是我们人类理解模型并且与之协作的共享空间。这个信念成为了Chroma的起点。在探索的道路上他们很快意识到一个关键的工作负载检索。在AI应用中如何从海量信息中精准高效地找到最相关的内容喂给大模型是决定应用质量的命根子。于是Chroma决定将所有精力聚焦在检索这个单点上。杰夫的逻辑很清晰在一个领域你必须先做到世界级的水平才有资格去做更多的事情。这需要一种近乎偏执狂式的专注。三、重新定义AI原生检索重要澄清Chroma不是简单地在已有数据库上加上向量搜索功能而是在从底层逻辑上重新思考和设计一个为AI时代而生的信息检索系统。3.1 现代化特征传统的搜索技术已有几十年历史而过去十年分布式系统领域诞生了许多新的设计原则传统架构现代化架构读写耦合读写分离存算一体存算分离C/C/JavaRUST高性能内存安全本地存储对象存储作为持久化层Chroma从零开始用这些现代化理念构建整个系统。3.2 AI原生的四个维度**第一技术不同。**不再仅仅是关键词匹配而是以向量搜索为代表的语义理解。**第二工作负载不同。**AI应用尤其是Agent可能会在一次任务中进行成百上千次检索这对并发和延迟提出了全新要求。**第三开发者不同。**构建AI应用的开发者可能不是搜索专家他们需要API友好、开箱即用的工具而不是需要配置无数参数的复杂系统。**第四最终用户不同。**传统搜索引擎的用户是人类一次大概提供10个链接AI应用的用户是大语言模型模型可以消化成百上千条信息。这个数量级的差异从根本上改变了对检索系统的设计要求。四、偏执狂式的产品哲学2023年向量数据库赛道是AI领域最火热的风口之一• Pinecone完成1亿美元融资估值飙升• Milvus、Weaviate、Qdrant等产品层出不穷• 每个人都在问“你为什么不用Pinecone”在这样的市场环境下Chroma的选择却异常佛系• 没有急于融资扩张• 没有匆忙推出云产品抢占市场• 花很长时间打磨最基础的开源单机版产品两种创业路径杰夫认为创业有两条路径第一种是精益创业式不断寻找市场信号像做梯度下降一样跟着用户需求走。他的批判是如果你完全遵循这条路最终可能会做出一个给中学生用的约会APP——因为它似乎是人类最基础、最容易被满足的需求。第二种路径是创始人心中有一个强大甚至有些逆向的观点、一个秘密然后偏执地去实现它。显然Chroma选择了后者。康威定律的上游杰夫有一个观点叫**“康威定律的上游”**你的文化 → 你的组织架构 → 你的产品形态 → 你交付的东西最终你交付的其实是你的文化。因此他坚持非常缓慢和挑剔的招聘。他认为公司未来增长的斜率完全取决于办公室里这些人的质量。这种慢带来了成果Chroma开源项目在GitHub上拥有超过2万颗星月下载量超过500万次总下载量超过7000万次。五、RAG已死上下文工程永存现在我们进入这次访谈中最有价值的部分——Chroma对AI应用根本问题的思考。5.1 摒弃RAG概念杰夫毫不客气地表达了对RAG检索增强生成这个术语的厌恶。Chroma内部从来不使用这个词。原因很简单RAG把检索、增强和生成三个完全不同的概念强行打包在一起导致了极大的混乱。更糟糕的是后来的RAG几乎等同于用简单的密集向量搜索然后把结果塞给模型整个技术栈显得愚蠢而廉价。5.2 上下文工程的定义为了打破这种思维定式杰夫倡导一个更精确的词上下文工程Context Engineering。定义决定在大语言模型的任何一次生成步骤中到底应该把什么信息放入上下文窗口中。上下文工程包含两个循环•内循环这一次我该放什么进去•外循环我的系统该如何通过学习让自己在未来能更聪明地填充上下文窗口5.3 上下文腐烂超长上下文的迷思 ⚠️当整个行业都对百万甚至千万级上下文窗口抱有盲目乐观时Chroma团队发布了一份技术报告用实验数据证明了一个残酷现实大语言模型的性能并不是对上下文窗口的token数量免疫的。随着你放入的token越来越多模型不仅会开始忽略一些指令进行有效推理的能力也会显著下降。这就是**“上下文腐烂”Context Decay**现象。一个直观的例子想象一下• 上下文长度1000 tokens → 模型准确率95%• 上下文长度10,000 tokens → 模型准确率85%• 上下文长度100,000 tokens → 模型准确率60%你往模型的脑子里塞的东西越多它反而变得越笨。Chroma的报告对比了主流模型在处理长上下文时的性能衰减模型长上下文表现Claude 3 Sonnet表现最好衰减最慢GPT-4 Turbo性能衰减较快Gemini Flash性能衰减非常快这份报告像一盆冷水浇醒了那些对无限上下文抱有幻想的开发者。它明确告诉我们上下文窗口的长度远远没有上下文内容的质量重要。上下文工程从一个可有可无的优化项变成了构建高质量AI应用的必选项。杰夫甚至断言今天你所知道的任何一家成功的AI原生公司他们最核心的竞争力就是上下文工程。六、实践方法两阶段检索那么具体应该怎么做呢6.1 朴素方法的失败很多开发者还在使用最朴素的方法把所有可能相关的文档一股脑塞进上下文窗口。这显然会触发上下文腐烂。6.2 两阶段检索策略领先的团队已经开始采用两阶段检索策略第一阶段粗筛召回目标从数百万个候选项中快速筛选出几百个候选者手段• 向量搜索的语义相似性• 全文搜索的关键词匹配• 元数据过滤原则追求召回率——宁可错杀一百不能放过一个第二阶段精炼重排序目标从几百个候选者中筛选出最相关的20-30个手段使用大语言模型本身来做重排序把几百个候选块连同原始问题一起丢给LLM让它判断哪些块对回答这个问题最相关并打分排序。6.3 暴力美学的崛起你可能会觉得调用几百次大模型听起来很昂贵、很慢。但实际上随着模型推理成本的急剧下降这种暴力美学式的做法正变得越来越可行。杰夫甚至大胆预测随着大模型变得越来越快、越来越便宜专门的重排序模型可能会在大多数场景下消失——就像我们今天很少会为特定任务设计专门的ASIC芯片一样大家会直接用通用的大语言模型来完成这个任务。6.4 代码检索的特别考量代码是一种结构化、逻辑性极强的文本对它的检索不能只依赖模糊的语义。Chroma在系统中原生支持了•高速正则表达式搜索精确匹配函数名、变量名•索引分叉功能毫秒级创建索引副本为代码仓库的每次提交、每个分支都创建独立索引七、记忆与评估方法论7.1 记忆是上下文工程的果实我们经常听到各种关于长短期记忆、工作记忆的复杂理论。但在杰夫看来这些都是不必要的复杂化。记忆就是上下文工程这棵树上结出的果实。一个好的记忆系统本质上就是一个好的上下文工程系统存储知道在用户说记住这个时该如何存储信息 ↓索引将信息结构化便于后续检索 ↓提取在后续交互中精准地把记忆提取出来 ↓放入上下文决定哪些记忆应该放入当前的上下文窗口7.2 生成式基准测试如何让系统变得越来越好Chroma提出了**“生成式基准测试”**方法并发布了相关技术报告。我们知道评估系统需要黄金数据集——标准问题和对应的标准答案。但对于自己的私有数据库来说谁来出题、谁来写答案这是一个非常耗时耗力的过程。Chroma的方法是让大语言模型来帮你做这件事步骤1让模型读取你的文档 ↓步骤2模型反向生成可能的用户问题 ↓步骤3人工审核和调整 ↓步骤4形成黄金数据集有了这个数据集你就可以量化评估检索系统优化措施评估指标示例结果更换embedding模型检索准确率从80%提升到90%增加重排序步骤最终答案质量用户满意度提升多少调整块大小召回率vs精确率找到最佳平衡点这样一来所有的优化都变得有据可依而不再是凭感觉搅一搅了。7.3 数据标注派对杰夫鼓励所有团队应该花一个下午点上几个披萨开一个数据标注派对手动创建几百个高质量的标注数据。这个小小的投入对系统性能提升的回报是极其巨大的。八、文化哲学如何做一件事就是如何做所有事Chroma的成功不仅仅是技术上的更是一种文化的胜利。8.1 只做热爱的事杰夫坦言过去自己常常在一些事情上做出妥协——和自己不那么契合的人共事服务自己没有那么热爱的客户等等。但现在他越来越清晰地认识到生命短暂应该只把时间花在自己真正热爱的工作上与自己真正欣赏的人一起为自己真正想服务的用户创造价值。8.2 反对虚无主义他提到如今的社会特别是科技圈弥漫着一种虚无主义。但在他看来人需要有信念需要去开启一些在自己的有生之年都未必能看到结果的宏大工程——就像过去的人们建造一座需要数百年才能完工的大教堂一样。这种信念最终会体现在公司的每一个细节里。8.3 品位的策展人杰夫非常认同如何做一件事就是如何做所有事情的信条。你会发现Chroma的办公室设计、网站文档甚至是周边T恤都透露出一种高度统一、深思熟虑的设计感和品质感。这种对于极致技艺Craft的追求与他们产品理念一脉相承。在他看来创始人就是一个公司的品位策展人。当这种对于品质的坚持从创始人传递到每一个员工最终就会内化为公司文化并且外显为你所看到的产品和品牌。结语在AI浪潮中保持清醒从炼金术到工程学从上下文腐烂到上下文工程从对无限上下文的迷思到黄金数据集的实践Chroma带给我们的不仅仅是一个好用的工具更是一种在AI时代如何进行严肃、严谨的系统构建的思考方式和哲学。当所有人都在为百万级上下文窗口欢呼时Chroma用数据和实验告诉我们质量永远比数量重要。当整个行业都在追逐热点时Chroma用偏执狂式的专注证明慢就是快专注就是护城河。在AI技术日新月异的今天我们或许更需要这种清醒不盲目追随热点而是深入理解问题的本质不迷信越大越好而是专注于越好越好。这或许就是在AI浪潮中保持清醒的最好方式。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】