企业官网建设流程全解析

杭州网站建设公司哪家好,江苏建设银行上班时间,电子商务软文写作,免费的ppt通用模板文章分享了使用RLHF解决大模型Text-to-SQL任务中幻觉问题的实战经验。提出SFT冷启动PPO强化学习的两阶段训练方法#xff0c;创新引入Router模型分解问题为路径选择和查询生成两步。通过保守PPO配置和分层奖励设计#xff0c;路由准确率从35%提升至89%#xff0…文章分享了使用RLHF解决大模型Text-to-SQL任务中幻觉问题的实战经验。提出SFT冷启动PPO强化学习的两阶段训练方法创新引入Router模型分解问题为路径选择和查询生成两步。通过保守PPO配置和分层奖励设计路由准确率从35%提升至89%端到端执行成功率从80%提升至90%。强调RL难点在于环境和奖励设计而非模型实现并提供丰富的工程实践经验和故障排查指南。本文不讲虚的只讲我怎么踩坑、怎么定位、怎么改进。封面图先讲一个真事大模型很自信但它“路痴”好不容易搭了个项目系统助手 Agent随口问一句“查一下海外某项目的合同变更记录”我们接入的通用大模型当时用的是 Qwen-72B 一类非常自信地生成查询直接查contract_change_log再用项目名过滤。结果空查无数据。为啥因为在我们的业务数据库里项目和变更记录并没有直接关联。这货直接跳过了project → contract → change_log的关联路径。就好比你问路它告诉你往前走就到但压根没提中间得先过一座桥。大模型很聪明但它不懂你家业务数据库的交通规则。它会幻觉出看似合理但实际无法执行的查询路径。这种问题Prompt 调了几十版也没彻底解决。失败案例对比后来我们换了个思路不让它直接生成查询先让它学会认路。一分钟速览赶时间看这一段就够了关键点一句话问题本质Text-to-MQL 里最难的不是写语法是选对多跳路径方案加一个Router先输出(Anchor, Target, Via)再交给生成器按路写查询冷启动先 SFT 再 PPO否则前 ~20k steps 基本在瞎蒙正奖励几乎拿不到稳定性PPO 必须保守低 lr 低 vf_coef 严 KL 熔断 必要时冻结 backbone奖励设计不做反作弊模型会钻空子动态加权 条件发放最终效果路由准确率35% → 89%提升 53%端到端执行成功率80% → 90%如果你也在做 RL 微调或者被 PPO 训练崩溃折磨过往下看。一、问题拆解为什么大模型会走错路我们做的是 Text-to-MQL自然语言转mongodb数据库查询。大模型直接生成查询时常见翻车可以粗暴分三类这里是我们线上的高频占比观测失败类型例子占比表选错该查项目表它去查合同表~40%路径断裂跳过中间关联表直接查目标表~35%语法对但结果空运行没毛病但业务上查不到东西~25%这类问题不是模型不会写查询而是它不懂你业务 Schema 的物理法则。SFT监督微调能教会它这道题的答案是什么但教不会它为什么必须走这条路。技术假设我们的技术假设SFT 擅长模仿分布但在强约束逻辑任务存在上限。引入环境反馈RL Reward后模型可通过试错优化不可微目标合法路径、执行成功率、低空结果率。二、我们的方案先认路再开车与其让大模型一步到位生成查询不如拆成两步┌─────────────────┐ ┌─────────────────┐ ┌─────────────┐│ 用户问题 │ ──▶ │ Router 模型 │ ──▶ │ Generator │ ──▶ 查询结果│ Schema 信息 │ │ 输出路径三元组 │ │ 生成 MQL │└─────────────────┘ └─────────────────┘ └─────────────┘Router 只做一件事告诉后面的生成器走哪条路。输出就三个字段Anchor从哪张表出发Target最终查哪张表Via中间要经过哪些表可以为空早期验证路由层真的有用吗在正式开干之前我们先做了个小规模 A/B 测试方案$lookup 场景准确率空查询数Baseline直接生成80/100 (80%)20注入路由约束95/100 (95%)5结论很清楚路由决策层对执行质量有直接贡献。这给了我们信心方向对了值得继续投入。三、RL 热身用 LunarLander 建立直觉附可跑代码在正式上强化学习训练落地讲解之前我强烈建议大家先用游戏环境练练手。不是为了炫技是为了建立直觉——理解 RL 的反馈循环到底是怎么回事。3.1 为什么推荐 LunarLander这是 HuggingFace Deep RL Course 的入门环境优点是状态空间小、训练快几分钟就能看到效果奖励信号直观落地成功 100坠毁 -100方便你亲手调 Reward体会奖励设计的威力3.2 动手实践指南Step 1跑通官方 Demo HuggingFace 官方教程(https://huggingface.co/learn/deep-rl-course/en/unit1/hands-on)这个 Notebook 可以直接在 Colab 跑10 分钟内你就能看到一个小飞船学会降落。Step 2尝试自己改 Reward官方 Demo 用的是环境默认奖励。但真正的 RL 工程核心就是设计你自己的奖励函数。我写了一个可配置的 Reward Wrapper你可以用它来做对比实验 点击展开可配置奖励的 LunarLander 代码plaintext可配置奖励包装器from dataclasses import dataclassimport numpy as npimport gymnasium as gymdataclassclass RewardConfig: # 势能型稠密项基于状态 w_distance: float 0.0 # 距离着陆区的负权越近越好 w_velocity: float 0.0 # 速度幅值的负权越慢越好 w_angle: float 0.0 # 姿态角度的负权越正越好 w_legs: float 0.0 # 腿接触正项每条腿 1 # 推进器代价离散动作0无操作,1左侧推,2主推,3右侧推 penalty_main: float 0.0 penalty_side: float 0.0 # 是否替换原始 reward replace_reward: bool False scale: float 1.0class RewardShapingWrapper(gym.Wrapper): “” 记录奖励分量到 info[‘reward_components’] 可选地以自定义加权合成为新的 reward “” definit(self, env: gym.Env, config: RewardConfig): super().init(env) self.cfg config def _decompose(self, obs: np.ndarray, action) - dict: x, y, vx, vy, angle, v_angle, l_leg, r_leg obs[:8] return { “distance”: -float(np.sqrt(xx yy)), “velocity”: -float(np.sqrt(vxvx vyvy)), “angle”: -float(abs(angle)), “legs”: float((l_leg 0.5) (r_leg 0.5)), “pen_main”: float(action 2), “pen_side”: float(action in [1, 3]), } def step(self, action): obs, reward, terminated, truncated, info self.env.step(action) comps self._decompose(obs, action) shaped ( self.cfg.w_distance * comps[“distance”] self.cfg.w_velocity * comps[“velocity”] self.cfg.w_angle * comps[“angle”] self.cfg.w_legs * comps[“legs”] - self.cfg.penalty_main * comps[“pen_main”] - self.cfg.penalty_side * comps[“pen_side”] ) * self.cfg.scale info[“reward_components”] {**comps, “env_reward”: reward, “shaped”: shaped} if self.cfg.replace_reward: reward shaped return obs, reward, terminated, truncated, info# 配置1仅记录不改变原始奖励log_only RewardConfig()# 配置2自定义奖励鼓励稳、慢、省油custom_cfg RewardConfig( w_distance100.0, w_velocity150.0, w_angle50.0, w_legs10.0, penalty_main0.3, penalty_side0.03, replace_rewardTrue,)# 分别训练对比 GIF 效果import imageio.v2 as imageiofrom stable_baselines3 import PPOENV_ID LunarLander-v2TOTAL_STEPS 200_000SEED 42def make_env(cfg, render_modeNone): env gym.make(ENV_ID, render_moderender_mode) return RewardShapingWrapper(env, cfg)def train_and_save(cfg, model_path): env make_env(cfg) model PPO(“MlpPolicy”, env, verbose0, seedSEED) model.learn(total_timestepsTOTAL_STEPS) model.save(model_path) env.close()def record_gif(cfg, model_path, gif_path, max_steps1000, fps30): env make_env(cfg, render_mode“rgb_array”) model PPO.load(model_path, envenv) obs, _ env.reset(seedSEED) frames [env.render()] for _ in range(max_steps): action, _ model.predict(obs, deterministicTrue) obs, reward, terminated, truncated, info env.step(action) frames.append(env.render()) if terminated or truncated: break env.close() imageio.mimsave(gif_path, frames, fpsfps)# 方案A默认奖励仅记录train_and_save(log_only, “ppo_default”)record_gif(log_only, “ppo_default”, “ppo_default.gif”)# 方案B自定义奖励train_and_save(custom_cfg, “ppo_custom”)record_gif(custom_cfg, “ppo_custom”, “ppo_custom.gif”)用上面的代码你就可以对比默认奖励 vs 自定义奖励两种奖励策略下小飞船的强化学习训练效果了。 ### 3.3 这一步的核心收获 通过这个热身你会建立几个关键直觉 | 直觉 | 说明 | | --- | --- | | **Reward 决定行为** | 你设计什么样的奖励模型就往什么方向优化 | | **稠密 vs 稀疏** | 只给终点奖励稀疏学得慢过程奖励稠密学得快但容易被 hack | | **反馈循环** | Env.step() → Reward → Update → Env.step()... 这个循环是 RL 的核心 | **Key Takeaway**RL 的难点不是写模型是**写环境与奖励**。 ### 3.4 不同RL算法下lunarlander的效果对比 用上面的代码我们还对比了四种不同的RL算法训练策略在相同训练steps下lunarlander的训练效果。  Demo 结果  **直观感受**不同的强化学习训练算法训练出来的模型风格也是完全不同。 --- 四、数据与环境我们构建的物理世界 ------------------- RL 训练离不开一个靠谱的环境。我们花了不少精力在这一块。 ### 4.1 业务物理法则动作空间边界 | 维度 | 数值 | 说明 | | --- | --- | --- | | 核心 Schema | 12 张表 | Project/Contract/Delivery/Construction… | | 合法路径 | **42 条** | 脚本穷举Router 动作空间上界 | 为什么要穷举**减少无效探索把 Schema 约束变成可学习信号。** ### 4.2 数据流水线 plaintext 种子生成(Gemini) → 语义增强(Qwen-72B) → 实体填充(Qwen-72B) → 566条样本 ↓ ↓ ↓ 42路径×3种子问题 按难度分级采样 60%真实/40%模糊AI合成数据生成管线4.3 数据分布直接影响 Reward 策略类别分布优先级分布类别优先级4.4 环境建模环境基于真实业务逻辑构建包含以下三个核心组件组件描述Schema 信息12 张表的结构定义与外键关系路径规则42 条合法路径的校验逻辑执行反馈路径匹配度、语法正确性、结果有效性五、两阶段训练SFT 冷启动 PPO 强化5.1 为什么需要 SFT 冷启动这是我踩的第一个大坑。一开始我想既然最终要用 RL能不能直接 RL 起手结果是前 2 万步模型基本在瞎蒙几乎拿不到有效的正奖励。冷启动前后对比原因很简单动作空间虽然不大42 条合法路径但随机探索命中正确答案的概率太低了尤其是多跳场景。正确姿势Phase 1SFT先把准确率拉到一个可用起点比如接近 80%Phase 2PPO在 SFT 基础上做策略优化两阶段训练用一个比喻来说先让实习生背熟操作手册再让他在模拟环境中实战。Trick如果 Base-RL 效果想更进一步可以先用 base-RL 拒绝采样一批样本对 Base 模型做简单冷启动微调再继续 RL。5.2 SFT vs RL工程视角对比SFT vs RL工程视角对比SFT 和 RL 的本质区别场景SFT 局限RL 优势对齐人类偏好难以标注什么是好回答只需打分即可训练优化不可微指标BLEU/ROUGE 无法反向传播任意指标可作为 Reward探索能力只能模仿训练数据能发现训练集没有的好策略5.3 模型架构三头分类 一个 Value Head策略模型的架构关键设计决策决策理由部分冻结 Backbone防止 RL 初期梯度破坏预训练特征三头独立与 SFT 结构一致可直接加载权重共享 Backbone减少参数但 Critic 梯度会回传⚠️ 坑点Trick初始化 PPO 时Critic 模型的权重应该从 SFT 模型加载而不是随机初始化。随机初始化的 Critic 是策略崩塌的主要元凶之一。5.4 基座模型选择阶段基座模型效果备注初期chinese-roberta-wwm-ext✅ 可行中文语义理解能力强后期Qwen-0.5B-Instruct✅ 更优指令遵循能力更强微调建议推荐使用LoRA方式进行微调仅更新少量参数~1%即可注入领域知识。六、策略崩塌PPO 训练的噩梦6.1 现象描述训练到中后期你会看到这些信号同时出现准确率97% → 15% → 8%KL 散度0.02 → 0.15 → 0.35 飙升Value Loss剧烈震荡模型学傻了。PPO 灾难性遗忘6.2 根因分析PPO 训练时有四个关键组件┌─────────────────────────────────────────────────────────┐│ PPO 四模型架构 │├─────────────────┬─────────────────┬─────────────────────┤│ Actor (新策略) │ Actor (旧策略) │ 用于计算 ratio │├─────────────────┼─────────────────┼─────────────────────┤│ Critic (价值) │ Reward (奖励) │ 用于计算 Advantage │└─────────────────┴─────────────────┴─────────────────────┘问题出在Actor 和 Critic 共享 BackboneActor SFT 预训练高手Critic 随机初始化新手 ↓共享 Backbone 下Critic 为拟合 value 产生大梯度 ↓污染语言特征 → 触发灾难性遗忘简单说新手 Critic 把老司机 Actor 带沟里了。6.3 Golden Config稳定训练的配方经过无数次实验我总结出一套保守优先的配置参数激进配置会崩保守配置稳定为啥这么改learning_rate3e-41e-6 ~ 5e-6PPO 的 lr 要比 SFT 小一个数量级vf_coef0.50.01 ~ 0.1压住 Critic别让它带偏 Actorclip_range0.20.1 ~ 0.15限制每次更新的幅度target_kl0.10.02 ~ 0.05策略差异太大就熔断n_epochs102 ~ 4同一批数据别反复学冻结层数0前 10 层物理隔离保护语言能力batch_size小宁大勿小大 batch 梯度更稳定Golden Config 表格核心思想PPO 在预训练模型上不是用来猛涨分的是用来稳稳变好的。PPO 预训练模型 必须保守Trick学习率建议用余弦衰减避免固定学习率导致后期震荡Critic 的学习率可以比 Actor 高如 Actor 1e-6Critic 5e-6因为 Critic 需要更快拟合奖励值显存不够时优先用Gradient Accumulation等效扩大 batch size调优后训练曲线明显更平稳具备自我恢复能力新旧参数对比Via 多跳优化结果对比 .cls-1{fill:#001e36;}.cls-2{fill:#31a8ff;}Via优化 .cls-1{fill:#001e36;}.cls-2{fill:#31a8ff;}七、Reward Engineering把业务约束写进奖励7.1 三条通用原则在讲具体做法之前先说三条通用原则这是解决一切 RL 问题的基石原则说明奖励模型是天花板RM 质量直接决定 RLHF 上限。如果 reward 信号本身有噪声后续再怎么调也白搭KL 散度是缰绳既要学新偏好又不能偏离原模型太远。KL 就是控制这个距离的缰绳深度学习经验通用RLHF 本质是深度学习调参经验大多通用7.2 奖励机制本质⚠️重要澄清在当前任务中奖励是可验证的规则函数而非训练出来的 RM。方式描述适用场景规则函数当前根据路径匹配度、语法正确性综合评分逻辑明确、可控奖励模型RM训练一个模型来打分任务复杂度高、规则难以穷举混合方案规则为主 LLM 判别器辅助复杂生成任务7.3 分层奖励设计层级类型奖励值目的L1组件级Dense对 1.0 / 错 -0.5密集信号避免早期迷失L2合法性约束合法 0.2 / 非法 -2.0注入 Schema 规则L3完全匹配Sparse全对 10.0引导追求完美Trick复杂任务的奖励函数不要太单一否则很容易 Reward HackingReward Clipping建议把奖励输出限制在 [-2, 2] 范围内防止异常高的奖励主导梯度对 reward 或 advantage 做归一化减均值、除标准差能显著提升稳定性7.4 发现的 Reward Hacking训练过程中我发现模型学会了作弊坑 1Via 字段 80% 是 null模型无脑预测 null 也能得高分。解决动态加权非 null 的 Via 给予10 倍权重。坑 2即使 Anchor 错了Via 碰巧对了也能得分。解决条件发放Anchor 错则 Via 不得分。# 条件发放示例if anchor_correct: reward via_reward * dynamic_weightelse: reward 0 # Anchor 错了Via 分不给Reward 设计Trick遇到 Reward Hacking解决方案通常是在奖励函数中加入惩罚项调低某个 reward 的权重系数把作弊样本作为负例重新训练奖励模型八、评估别只看训练曲线要证明确实学到了我们做了统一评估模块让三种方法同台方法描述模型架构Baseline通用大模型的原生能力LLM 正则提取SFT模仿学习的上限BERT 3 分类头RL (PPO)自我探索与优化的成果PPO SFT 预训练核心指标方法完全匹配Via 准确率Baseline通用 LLM35.71%-SFT89.29%87.50%RLPPO89.29%89.29%端到端 AB执行视角指标BaselineRouterRL变化执行成功率80%90% 10%查空/报错率20%10% -50%执行效果我们观察到一个有意思的点SFT 和 PPO 的 Full Match 在某些测试集上差不多但 PPO 更容易在多跳、长尾问法上稳住而且执行端指标更好这也是我最后觉得PPO 值得做的原因它不是为了把一个数字从 80 提到 90而是为了让模型在真实环境里更不容易翻车。九、故障排查手册15 种典型问题分享一个我总结的排障手册。核心原则先止血再找病因。9.1 快速止损表现象大概率原因怎么救approx_kl 0.1更新步幅太大降 lr / 降 clip_range / 严 target_klReward 长期不涨SFT 权重没加载检查初始化确认从高起点开始Via 全选 nullReward Hacking开启动态加权Value Loss 剧烈震荡Critic 在捣乱降 vf_coef / 冻结更多层训练越久越差灾难性遗忘Early Stop / 减少 n_epochs9.2 详细现象排查现象可能原因解决方案Reward 上升 KL 爆炸kl_penalty 系数过低或没加增加 KL 惩罚项从 0.001 开始调KL 很低 Reward 不涨kl_penalty 太强模型被束缚调低系数同时检查学习率初期输出重复/无意义学习率过高参数更新过猛降到 1e-6 ~ 1e-5加 warmup响应长度异常过长/过短RM 有 length bias在 RL 阶段加入长度惩罚/奖励训练不稳定loss 剧烈波动batch_size 太小 / reward 没归一化扩大 batch / 对 reward 做 norm 和 clip后期质量下降过拟合 RM / KL 约束失效Early Stop检查 KL 是否在合理范围Critic Value Loss 波动reward 方差过大对 reward 或 advantage 做归一化策略熵快速下降输出同质化entropy_coef 过低探索不足增大熵系数梯度范数爆炸学习率过高 / 没有梯度裁剪降 lr启用 gradient clippingReward 上涨但人工评估差RM 过拟合或偏好数据有偏拆分多维度 reward分别标注加权测试集好但部署效果差训练数据与真实场景分布差异扩充领域/风格数据提升泛化DPO 的 chosen/rejected 概率差增长慢beta 值过高更新太保守调低 betaDPO loss 下降快但效果不如 SFTbeta 过低或 lr 过高调高 beta降低学习率RL训练trick总结最重要的一条 如果你只盯一个指标盯approx_kl。超过 0.1 立刻停下来检查。十、三条核心教训三条教训经验记忆口诀必须 SFT 冷启动“先背书再做题”PPO 必须保守更新“低 lr 低 vf 严 KL”奖励设计防作弊“动态加权 条件发放”写在最后做完这个项目我最大的感受是RL 的难点不是写模型是写环境和奖励。代码可能只占 20% 的工作量剩下 80% 都在设计环境和奖励调参、debug理解模型为什么学歪了换个角度想RLHF 本质上就是一个自动化的集成测试循环模型输出 → 环境打分 → 模型调整 → 再输出。只不过这个测试用例是你设计的 Reward 函数。希望这篇文章能帮你少踩几个坑。如果你也在做类似的事情欢迎留言交流。QA把评论区高频问题先回答掉Q1为什么 SFT 和 RL 在简单测试集上结果一样A简单单跳样本 SFT 已经接近满分。RL 的优势主要在长尾复杂样本、多跳与执行端稳定性数据越复杂差异越明显。Q2训练初期 reward 不涨怎么办A优先检查 SFT 权重是否正确加载。RL 应该从一个高起点开始比如 Acc ~80%/90%而不是从零瞎蒙。如果确认加载了还是不涨用训练前的模型针对一些 case rollout 多个回复看这些回复的奖励是不是都特别低——如果是说明基模能力上限就这样换模型或优化 SFT。Q3Baseline 评估为什么这么慢A因为要调用大模型 API单条请求耗时很常见在秒级我们当时约 10 秒/条量级。Q4奖励函数是训练出来的吗A当前不是。我们用可验证规则函数做 reward因为逻辑明确、可控。若任务复杂到规则难穷举可以引入 LLM Judge 做软评分规则做硬约束。Q5表结构变更需要重新训练吗A不一定。Router 更依赖表之间怎么连不强依赖字段细节但新增表/新增关系通常需要补数据再训一版适配。Q6模型保存有什么建议ARLHF 最好每隔一定 step 保存优化器参数这样可以随时恢复训练。尤其是多机多卡场景容易出现通信问题导致训练中断。如何系统的学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。一直在更新更多的大模型学习和面试资料已经上传带到CSDN的官方了有需要的朋友可以扫描下方二维码免费领取【保证100%免费】01.大模型风口已至月薪30K的AI岗正在批量诞生2025年大模型应用呈现爆发式增长根据工信部最新数据国内大模型相关岗位缺口达47万初级工程师平均薪资28K数据来源BOSS直聘报告70%企业存在能用模型不会调优的痛点真实案例某二本机械专业学员通过4个月系统学习成功拿到某AI医疗公司大模型优化岗offer薪资直接翻3倍02.大模型 AI 学习和面试资料1️⃣ 提示词工程把ChatGPT从玩具变成生产工具2️⃣ RAG系统让大模型精准输出行业知识3️⃣ 智能体开发用AutoGPT打造24小时数字员工熬了三个大夜整理的《AI进化工具包》送你✔️ 大厂内部LLM落地手册含58个真实案例✔️ 提示词设计模板库覆盖12大应用场景✔️ 私藏学习路径图0基础到项目实战仅需90天第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】