企业官网建设流程全解析

湖北网站seo策划,企业所得税优惠政策最新2023上海,河北监理工程师考试最新消息,普兰店网站建设就在这两天#xff0c;田渊栋分享了自己的 2025 年终总结。去年 10 月#xff0c;Meta 人工智能部门的裁员波及到了一大波人#xff0c;其中包括了知名华人科学家田渊栋及其团队成员。就在这两天#xff0c;田渊栋分享了自己的 2025 年终总结。他首先透露了自己「救火」Lla…就在这两天田渊栋分享了自己的 2025 年终总结。去年 10 月Meta 人工智能部门的裁员波及到了一大波人其中包括了知名华人科学家田渊栋及其团队成员。就在这两天田渊栋分享了自己的 2025 年终总结。他首先透露了自己「救火」Llama 4 项目的经历以及之后被裁、未来的工作规划接着回顾了 2025 年的主要研究方向包括大模型推理和打开模型的黑箱最后探讨了 AI 驱动下的社会变革、生产力重构以及个人价值的存续逻辑。接下来为田渊栋知乎原文内容。2025年终总结一关于被裁在 2025 年 1 月底被要求加入 Llama4 救火的时候作为一直以来做强化学习的人我事先画了一个 2x2 的回报矩阵reward matrix计算了一下以下四种可能虽然在那时因为来自上面的巨大压力不同意是几乎不可能的当时想的是我们去帮忙的话即便最后项目未能成功也至少尽力而为问心无愧。不过遗憾的是最后发生的是没在计算之内的第五种可能这也让我对这社会的复杂性有了更为深刻的认识。尽管如此在这几个月的努力过程中我们还是在强化学习训练的核心问题上有一些探索比如说训练稳定性训推互动模型架构设计和预训练 / 中期训练的互动长思维链的算法数据生成的方式后训练框架的设计等等。这个经验本身是很重要的对我的研究思路也带来了不小的转变。另外其实我也想过在公司十年多了总有一天要离开总不见得老死在公司里吧但总是因为各种经济上和家庭上的原因还是要待下去。最近一两年的说话和做事方式都是抱着一种 “公司快把我开了吧” 的心态反而越来越放开。2023 年年末我休第一个长假的时候其实几乎差点要走了但最后没签字还是选择待在公司继续所以说真要做出离开的决定也不容易。现在 Meta 帮我做了也挺好。这次波折和今年一年的起起落落也为接下来的小说创作提供了非常多的新素材。所谓 “仕途不幸诗家幸赋到沧桑句便工”生活太平淡人生就不一定有乐趣了。还记得 2021 年年头上的时候因为在年末工作总结里面写了几句关于” 为啥 paper 都没中 “的反思喜提 Meet Most有一种突然不及格的懵逼感。但想了想与其到处抱怨世道不公不如就在大家面前装成自己刚刚升职吧结果半年后果然升了职而那篇 21 年头上无人问津的工作在 21 年 7 月份中了 ICML Best paper honorable mention成为一篇表征学习中还比较有名的文章。10 月 22 号之后的一段时间基本上我的各种通信方式都处于挤爆的状态每天无数的消息和邮件还有各种远程会议或者见面的邀请实在是忙不过来了。一直到几周之后才渐渐恢复正常。这两个月非常感谢大家的关心和热情。如果那时有什么消息我没有及时回复请见谅。虽然最后有不少 offer大家能想到的知名公司也都联系过我但最后还是决定乘自己还年轻去当一家新初创公司的联合创始人细节暂时不公开先安静地忙活一阵吧。根据 Linkedin 信息显示他已经于去年 12 月在这家公司上任。一些研究的方向2025 年的主要方向一个是大模型推理另一个是打开模型的黑箱。自从 2024 年末我们的连续隐空间推理coconutCOLM’25工作公开之后25 年在这个研究方向上掀起了一股热潮。大家探索如何在强化学习和预训练中使用这个想法如何提高它的训练和计算的效率等等。虽然我们组随后就被拉去 llama 干活没能再继续花很大力气往下挖但这个让我觉得非常欣慰。尽管如此我们还是在上半年发了一篇理论分析Reasoning by SuperpositionNeurIPS‘25的文章展示连续隐空间推理有优势的地方究竟在哪里获得了不少关注。另外是如何提高大模型的推理效率。我们的 Token AssortedICLR’25的工作先通过 VQVAE 学出隐空间的离散 token再将所得的离散 token 和 text token 混在一起进行后训练减少了推理代价的同时提高了性能。我们的 DeepConf 通过检测每个生成 token 的自信程度来决定某条推理路径是否要被提前终止这样推理所用的 token 减少了很多但在 majority vote 的场景下性能反而更好。ThreadWeaver 则是通过制造并行推理的思维链并在其上做后训练来加快推理速度。另外我们也在 dLLM 上用 RL 训练推理模型Sandwiched Policy Gradient也有在小模型上学习推理的尝试MobileLLM-R1。在可解释性方面Grokking顿悟这个方向我大概两年前就在关注了。因为之前我做表征学习representation learning的分析虽然能分析出学习的动力学过程看到模型出现表征塌缩的原因但究竟学出什么样的表征它们和输入数据的结构有什么关系能达到什么样的泛化能力还是个谜团而通过分析 Grokking 这个特征涌现的现象从记忆到泛化的突变过程正好能解开这个谜团。一开始确实非常难做没有头绪2024 年先做了一篇 COGSNeurIPS‘25见求道之人不问寒暑十但只能在特例上进行分析我不是很满意。在一年多的迷茫之后在和 GPT5 大量互动之后最近的这篇 Provable Scaling Laws 的文章应该说有比较大的突破能分析出之前的线性结构NTK看不到的东西并把特征涌现的训练动力学大概讲清楚了。虽然说分析的样例还是比较特殊但至少打开了一扇新的窗口。详细解释请看田渊栋的想法。年末的这篇 The path not taken 我很喜欢对于 RL 和 SFT 的行为为何会如此不一致在权重的层面给出了一个初步的答案。SFT 造成过拟合和灾难性遗忘catastrophic forgetting其表层原因是训练数据不够 on-policy而深层原因是权重的主分量直接被外来数据大幅修改导致 “根基” 不稳模型效果大降。而 RL 则因为用 on-policy 的数据进行训练权重的主分量不变改变的只是次要分量反而能避免灾难性遗忘的问题而改变的权重其分布也会较为稀疏特别在 bf16 的量化下。关于可解释性的信念很多人觉得可解释性或者 “AI 如何工作得那么好” 这个问题不重要但我却觉得很重要。试想之后的两种场景场景一如果我们仅仅通过 Scaling 就达到了 AGI 乃至 ASI全体人类的劳动价值都降为零AI 作为一个巨大的黑盒子帮我们解决了所有问题那如何让 AI 作为一个超级智能一直行善不欺骗不以隐秘的方式作恶就是当务之急要解决这个问题就要做可解释性。场景二如果 Scaling 这条路最终失效人类在指数增长的资源需求面前败下阵来必须得要寻求其它的方案那我们就不得不去思考 “模型为什么有效什么东西会让它失效”在这样的思考链条之下我们就必须回归研究可解释性就是目所能及的另一条路了。在这两种情况下最终都需要可解释性来救场。就算最终 AI 是个全知全能全善的神以人类好奇和探索的天性必然还是会去研究 AI 为什么能做得好。毕竟 “黑盒” 就意味着猜疑链的诞生在大模型技术爆炸开始达到甚至超过人类平均水平的今天《三体》中 “黑暗森林” 的规则也许会以另一种方式呈现出来。目前打开训练好模型的黑箱去找到电路circuit还是处于比较初步的阶段。可解释性真正的难点在于从第一性原理即从模型架构、梯度下降及数据本身的固有结构出发解释为什么模型会收敛出这些解耦、稀疏、低秩、模块化、可组合的特征与回路为什么会有大量不同的解释这些涌现出来的结构和模型训练的哪些超参数相关如何相关等等。等到我们能从梯度下降的方程里直接推导出大模型特征涌现的必然性可解释性才算真正从生物式的证据收集走向物理式的原理推导最终反过来指导实践为下一代人工智能的模型设计开辟道路。对比四百年前的物理学我们现在有很多 AI 版的第谷收集数据一些 AI 版的开普勒提出假说但还没有 AI 版的牛顿发现原理。等到那一天来临的时候我相信世界一定会天翻地覆。2025年终总结二未来会是什么样子抛开前公司里每三个月一次的组织架构重组不谈2025 年一年的变化本身已经很大。25 年年初的 Deepseek-R1 的发布现在想来几乎已经算是上个世纪的事情了。带思维链的推理模型的巨大成功让强化学习RL又回到了 AI 的主流视野之中也带动了 AI4Coding 及 AI Agent 的发展而后两者让大模型有了大规模落地大幅度提高生产力的切实可能。以前做项目招人是很重要的一环但现在脑中的第一个问题是 “还需不需要人” 几个 Codex 进程一开给它们下各种指令它们就可以 24 小时不间断干活速度远超任何人类而且随便 PUA 永远听话毫无怨言。和 AI 工作我最担心的是工作量有没有给够有没有用完每天的剩余 token 数目。这也是为什么各家都在试验让 AI Agent 做几个小时连续不断的工作看 AI 的能力上界在哪里。因为人的注意力永远是最昂贵的人要休息要度假要允许有走神、睡觉和做其它事情的时间。减少人的介入让 AI 自己找到答案干几个小时活之后再回来看看最好。这每个月交给 OpenAI 的 20 块钱一定要榨干它的价值啊。我突然意识到就因为这区区 20 块钱我已经成为了 “每个毛孔里都滴着血” 的肮脏资本家。我能这么想全世界最聪明和最富有的头脑也一定会这么想。所以请大家丢掉幻想准备战斗吧。在帮忙赶工 Llama4 期间我经常在加州时区晚上 12 点接到东部时区的组员消息在伦敦的朋友们更是永不下线熬夜折腾到凌晨四五点是寻常事但大模型越来越强辛勤劳动最终达到的结果是看到大模型达到甚至超越我们日常作事的水准这应该说是一种陷入囚徒困境之后的无奈。人类社会的 “费米能级”如果以后以 AI 为中心那还需要人么如果考虑劳动力的投入 - 回报模型传统思维会告诉你工作经验积累越多人的能力越强回报也越大是个单调上升的曲线。这就是为什么大厂有职级职级随年限晋升越老越香。但现在的情况已经不同了。职级已经没有意义过去的经验也没有意义人的价值从按照 “本人产出的劳动数量及质量” 来评估变成了是否能提高 AI 的能力人加 AI 要大于 AI 本身的产出这样才行。这样就让投入 - 回报曲线从一个单调递增曲线变成了一个先是全零再在一定阈值之后增长的曲线也即是 soft-thresholding 的曲线。一开始人的能力是比不过 AI 的而 AI 的供给只会越来越便宜所以在很长一段成长期内人本身是没有价值的。只有在人的能力强到一定程度之后能够做到辅助 AI 变强才开始变得有价值起来。并且在跨越阈值之后厉害人对 AI 的加成会高于普通人很多很多因为普通人只会对 AI 的一两条具体产出花时间修修补补而厉害的人在看了一些 AI 存在的问题之后能提出较为系统性和普遍性的解决方案结合手上的各类资源GPU 和数据等可以进一步让 AI 变得更强而这种效应随着 AI 的广泛部署会被几何级数地放大。“一骑当千” 这种小说笔法将很快变成现实。在这样一个非常两级分化的投入 - 回报模型之下如果把人 所有个人能获取的 AI 当成一个智能体整体来看它的能力分布会和电子能级在材料里的分布很像低于或达到某个水准线的智能体遍地都是求着客户给它活干以证明自己还是有用的而高于这个水准线的智能体则指数级地变少获取和使用它非常花钱还常常排不到。这个水准线就是 AI 洪水的高度就是人类社会的 “费米能级”。低于费米能级的职业可能在一夜之间就被颠覆掉就像一场洪水或者地震一样前一天还是岁月静好后一天整个行业被端掉了。随着时间变化这条水准线还会一直往上走。其进展的速度和它能获取到的比它更强的数据量成正比。如果大模型的训练过程没有特别大的进展那和自动驾驶无人车一样越往上走有用的数据是越来越少的进展也会越慢最顶尖的那部分人还能在很长时间内保有自己的护城河。如果训练过程有突破比如说找到新的合成数据手段乃至新的训练算法那就不好说了。当然以上的判断是假设有无限的 GPU 和能源的供给并没有考虑到各种资源短缺的情况。能源短缺芯片产能短缺内存短缺整个地球能否满足人类日益疯狂增长的 AI 需求还是个未知数这方面深究下去或许可以做一篇论文出来。遍地神灯时代的独立和主动思考那么接下来会怎么样呢未来的世界或许不再是传统故事里描绘的那样 —— 人们为了争夺稀缺的武功秘籍或是千辛万苦寻找唯一的阿拉丁神灯、集齐七颗龙珠而展开冒险。相反这将是一个 “遍地神灯” 的时代。每一个 AI 智能体都像是一个神灯它们能力超群渴望着实现别人的愿望以此来证明自己的价值。在这种环境下真正稀缺的不再是实现愿望的能力而是 “愿望” 本身以及将愿望化为现实的那份坚持。然而在这个 AI 能力极其充沛的时代巨大的便利往往伴随着巨大的陷阱。大模型提供了极其廉价的思考结果在当前信息交互尚不充分的市场中这些结果甚至可以直接用来交差并获取经济价值例如那些一眼就能看出的 “AI 味” 文案。这种唾手可得的便利会让许多人逐渐失去思考的动力久而久之丧失原创能力思想被生成式内容和推荐系统所绑架和同化。这就是新时代对 “懒人” 的定义不再是因为体力上的懒惰而是精神上没有空闲去思考没有能力去构思独特的东西。最终变成一具空壳连许愿的能力都失去了。那我们该如何保持独立思考如何不被 AI 同化战术上来说我们需要学会不停地审视 AI 的答案挑它的毛病并找到它无法解决的新问题。未来的新价值将来源于三个方面1新的数据发现2对问题全新的深入理解3新的路径包括可行的创新方案及其结果。利用信息不对称来套利只是暂时的。随着模型越来越强社会对 AI 的认知越来越清晰这种机会将迅速消失。如果仅仅满足于完成上级交代的任务陷入 “应付完就行” 的状态那么在 AI 泛滥的今天这种职位极易被取代。就拿 AI Coding 来说用多了我会觉得它虽然可以很快弄出一个可以跑的代码库满足需求但随着代码越来越长屎山也越来越高它贡献的代码也就越来越不如人意还是需要人来做大的设计规划。如何调教它让它更快达成自己的长远目的这个会成为人类独有价值的一部分。如果只是盲目地命令它做这个做那个而不自己去思考如何做才能和它配合做得更好那就会和大部分人一样停留在应用层面而无法理解得更深入就更不用说独一无二了。战略上来说无论主动还是被动每个人都将面临从 “员工” 角色向 “老板” 或 “创始人” 角色的转变。这种转变的核心在于 “目标感”。如果心中有一个坚定的目标并愿意动用一切手段包括将大模型作为核心工具去达成它那么主动思考就是自然而然的结果。目标越远大触发的主动思考就越多激发的潜力就越大。因此如果将来的孩子立志要去土卫六开演唱会或者想在黑洞边缘探险千万不要打压这样看似荒诞的志向。因为这份宏大的愿望或许正是他们一辈子充满前进动力主动思考的根本源泉也是让他们始终屹立于 “费米能级” 之上的关键。如果你想更深入地学习大模型以下是一些非常有价值的学习资源这些资源将帮助你从不同角度学习大模型提升你的实践能力。一、全套AGI大模型学习路线AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能​因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取四、AI大模型商业化落地方案作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量