企业官网建设流程全解析

自己做家装设计网站,制作网站的走马灯怎么做,有关网站建设的书籍,关于申请网站建设文章介绍LoRA技术通过低秩分解模拟参数变化#xff0c;冻结预训练模型参数只训练少量新增矩阵#xff0c;实现高效微调。详细解释了LoRA的概念、特点、优缺点#xff0c;以及训练过程中的参数选择#xff08;如rank、alpha#xff09;和技巧。LoRA具有节省存储、不增加推理…文章介绍LoRA技术通过低秩分解模拟参数变化冻结预训练模型参数只训练少量新增矩阵实现高效微调。详细解释了LoRA的概念、特点、优缺点以及训练过程中的参数选择如rank、alpha和技巧。LoRA具有节省存储、不增加推理延迟、可组合等优点适合在资源有限的情况下进行大模型微调。前言大家的显卡都比较吃紧LoRA家族越来越壮大基于LoRA出现了各种各样的改进最近比较火的一个改进版是dora听大家反馈口碑也不错。基于PEFT的话用4090 24G显存也可以进行大模型的微调所以LoRA家族这块还是很有研究和实际落地的潜力。LoRA整个系列分为两个部分1、LoRA总述2、LoRA家族演进本篇开始介绍第一部分LoRA总述尽量以面经问题的形式提出并解答下面是一个快捷目录。一、概念简单介绍一下LoRALoRA的思路LoRA的特点LoRA的优点LoRA的缺点二、训练理论LoRA权重是否可以合入原模型ChatGLM-6B LoRA后的权重多大LoRA微调方法为啥能加速训练如何在已有LoRA模型上继续训练LoRA这种微调方法和全参数比起来有什么劣势吗LORA应该作用于Transformer的哪个参数矩阵LoRA 微调参数量怎么确定Rank 如何选取alpha参数 如何选取LoRA 高效微调如何避免过拟合哪些因素会影响内存使用LoRA权重是否可以合并是否可以逐层调整LoRA的最优rankLora的矩阵怎么初始化为什么要初始化为全0一、概念1. 简单介绍一下LoRA通过低秩分解来模拟参数的改变量从而以极小的参数量来实现大模型的间接训练。实现思想很简单就是冻结一个预训练模型的矩阵参数并选择用A和B矩阵来替代在下游任务时只更新A和B。2. LoRA的思路主要思想在原模型旁边增加一个旁路通过低秩分解先降维再升维来模拟参数的更新量。训练原模型固定只训练降维矩阵A和升维矩阵B。推理可将BA加到原参数上不引入额外的推理延迟。初始化A采用高斯分布初始化B初始化为全0保证训练开始时旁路为0矩阵。可插拔式的切换任务当前任务W0B1A1将lora部分减掉换成B2A2即可实现任务切换。3. LoRA的特点将BA加到W上可以消除推理延迟可以通过可插拔的形式切换到不同的任务设计的比较简单且效果好。4. LoRA的优点1一个中心模型服务多个下游任务节省参数存储量2推理阶段不引入额外计算量3与其它参数高效微调方法正交可有效组合4训练任务比较稳定效果比较好5LoRA 几乎不添加任何推理延迟因为适配器权重可以与基本模型合并5. LoRA的缺点LoRA参与训练的模型参数量不多也就百万到千万级别的参数量所以效果比全量微调差很多。(数据以及算力满足的情况下还是微调的参数越多越好二、训练理论1. LoRA权重是否可以合入原模型可以将训练好的低秩矩阵B*A原模型权重合并相加计算出新的权重。2. ChatGLM-6B LoRA后的权重多大rank 8 target_module query_key_value条件下大约15M。3. LoRA微调方法为啥能加速训练1只更新了部分参数比如LoRA原论文就选择只更新Self Attention的参数实际使用时我们还可以选择只更新部分层的参数2减少了通信时间由于更新的参数量变少了所以尤其是多卡训练时要传输的数据量也变少了从而减少了传输时间3采用了各种低精度加速技术如FP16、FP8或者INT8量化等。这三部分原因确实能加快训练速度然而它们并不是LoRA所独有的事实上几乎都有参数高效方法都具有这些特点。LoRA的优点是它的低秩分解很直观在不少场景下跟全量微调的效果一致以及在预测阶段不增加推理成本。4. 如何在已有LoRA模型上继续训练理解此问题的情形是已有的lora模型只训练了一部分数据要训练另一部分数据的话是在这个lora上继续训练呢还是跟base 模型合并后再套一层lora或者从头开始训练一个lora把之前的LoRA跟base model 合并后继续训练就可以为了保留之前的知识和能力训练新的LoRA时加入一些之前的训练数据是需要的。每次都要重头训练的话成本比较高。5. LoRA这种微调方法和全参数比起来有什么劣势吗如果有足够计算资源以及有10k以上数据还是建议全参数微调lora的一个初衷就是为了解决不够计算资源的情况下微调只引入了少量参数就可以在消费级gpu上训练但lora的问题在于它不能节省训练时间相比于全量微调他要训练更久同时因为可训练参数量很小在同样大量数据训练下比不过全量微调。6. LORA应该作用于Transformer的哪个参数矩阵从上图我们可以看到1将所有微调参数都放到attention的某一个参数矩阵的效果并不好将可微调参数平均分配到 Wq 和 Wk 的效果最好2即使是秩仅取4也能在 ∆W 中获得足够的信息。因此在实际操作中应当将可微调参数分配到多种类型权重矩阵中而不应该用更大的秩单独微调某种类型的权重矩阵。7. LoRA 微调参数量怎么确定LoRA 模型中可训练参数的结果数量取决于低秩更新矩阵的大小其主要由秩 r 和原始权重矩阵的形状确定。实际使用过程中通过选择不同的 lora_target 决定训练的参数量。以 LLama 为例–lora_target q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj8. Rank 如何选取Rank的取值比较常见的是8理论上说Rank在4-8之间效果最好再高并没有效果提升。不过论文的实验是面向下游单一监督任务的因此在指令微调上根据指令分布的广度Rank选择还是需要在8以上的取值进行测试。9. alpha参数 如何选取alpha其实是个缩放参数本质和learning rate相同所以为了简化可以默认让alpharank只调整lr这样可以简化超参。10. LoRA 高效微调如何避免过拟合过拟合还是比较容易出现的。减小r或增加数据集大小可以帮助减少过拟合还可以尝试增加优化器的权重衰减率或LoRA层的dropout值。11. 哪些因素会影响内存使用内存使用受到模型大小、批量大小、LoRA参数数量以及数据集特性的影响。例如使用较短的训练序列可以节省内存。12. LoRA权重是否可以合并可以将多套LoRA权重合并。训练中保持LoRA权重独立并在前向传播时添加训练后可以合并权重以简化操作。13. 是否可以逐层调整LoRA的最优rank理论上可以为不同层选择不同的LoRA rank类似于为不同层设定不同学习率但由于增加了调优复杂性实际中很少执行。14. Lora的矩阵怎么初始化为什么要初始化为全0矩阵B被初始化为0而矩阵A正常高斯初始化。如果BA全都初始化为0那么缺点与深度网络全0初始化一样很容易导致梯度消失(因为此时初始所有神经元的功能都是等价的)。如果BA全部高斯初始化那么在网络训练刚开始就会有概率为得到一个过大的偏移值Δ W 从而引入太多噪声导致难以收敛。因此一部分初始为0一部分正常初始化是为了在训练开始时维持网络的原有输出(初始偏移为0)但同时也保证在真正开始学习后能够更好的收敛。AI大模型从0到精通全套学习大礼包我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。只要你是真心想学AI大模型我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来我也真心希望帮助大家学好这门技术如果日后有什么学习上的问题欢迎找我交流有技术上面的问题我是很愿意去帮助大家的如果你也想通过学大模型技术去帮助就业和转行可以扫描下方链接大模型重磅福利入门进阶全套104G学习资源包免费分享01.从入门到精通的全套视频教程包含提示词工程、RAG、Agent等技术点​02.AI大模型学习路线图还有视频解说全过程AI大模型学习路线​03.学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的04.大模型面试题目详解05.这些资料真的有用吗?这份资料由我和鲁为民博士共同整理鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。所有的视频由智泊AI老师录制且资料与智泊AI共享相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌构建起前沿课程智能实训精准就业的高效培养体系。课堂上不光教理论还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作把课本知识变成真本事‌如果说你是以下人群中的其中一类都可以来智泊AI学习人工智能找到高薪工作一次小小的“投资”换来的是终身受益应届毕业生‌无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型‌非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界‌。业务赋能 ‌突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型‌。获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】