企业官网建设流程全解析

asp网站开发设计文档,网站建设与维护内容,wordpress钩子,静态网站如何入侵人工智能之核心基础 机器学习 第十六章 模型优化 文章目录 人工智能之核心基础 机器学习16.1 过拟合与欠拟合#x1f3af; 定义#xff08;用“考试”比喻#xff09;#x1f50d; 表现与原因 16.2 解决过拟合的方法✅ 五大核心策略1. **正则化#xff08;Regularization…人工智能之核心基础 机器学习第十六章 模型优化文章目录人工智能之核心基础 机器学习16.1 过拟合与欠拟合 定义用“考试”比喻 表现与原因16.2 解决过拟合的方法✅ 五大核心策略1. **正则化Regularization**2. **交叉验证Cross-Validation**3. **早停Early Stopping**4. **增加数据量**5. **数据增强Data Augmentation**16.3 超参数调优 三大主流方法 调优流程标准实践16.4 模型融合 为什么融合有效1. 简单融合投票法分类平均法回归2. 进阶融合堆叠Stacking16.5 半监督/自监督模型优化技巧 三大关键优化点1. **伪标签筛选策略**2. **自监督前置任务调优**3. **无标签数据利用率提升**16.6 模型选择策略 选型决策树 模型选择对照表 半监督/自监督 vs 传统范式 本章总结泛化能力提升 Checklist资料关注16.1 过拟合与欠拟合 定义用“考试”比喻状态训练表现测试表现比喻欠拟合差差“课本都没看懂考试自然不会”理想状态好好“真正学会了知识举一反三”过拟合极好差“死记硬背考题答案换题就不会” 表现与原因问题典型表现根本原因欠拟合- 训练误差高- 模型太简单如线性模型拟合非线性- 模型容量不足- 特征太少/质量差过拟合- 训练误差≈0- 验证误差远高于训练误差- 模型复杂度高- 数据量少- 模型太复杂- 噪声多可视化诊断importmatplotlib.pyplotasplt plt.plot(train_losses,label训练损失)plt.plot(val_losses,label验证损失)plt.legend()ifval_loss starts risingwhiletrain_loss keeps falling → 过拟合16.2 解决过拟合的方法✅ 五大核心策略1.正则化RegularizationL1正则Lasso$ \text{Loss} \lambda \sum |w_i| $ → 自动特征选择L2正则Ridge$ \text{Loss} \lambda \sum w_i^2 $ → 权重衰减防过大fromsklearn.linear_modelimportLogisticRegression# L2正则默认lr_l2LogisticRegression(penaltyl2,C1.0)# C越小正则越强# L1正则lr_l1LogisticRegression(penaltyl1,solverliblinear,C0.1)2.交叉验证Cross-Validation防止模型评估“运气好”K折交叉验证数据分K份轮流做验证集fromsklearn.model_selectionimportcross_val_score scorescross_val_score(model,X,y,cv5)# 5折print(f平均准确率:{scores.mean():.2%}±{scores.std():.2%})3.早停Early Stopping训练时监控验证损失不再下降时停止# PyTorch示例best_val_lossfloat(inf)patience5counter0forepochinrange(100):train(...)val_lossvalidate(...)ifval_lossbest_val_loss:best_val_lossval_loss counter0save_model()else:counter1ifcounterpatience:break# 早停4.增加数据量最根本的解决方法但成本高半监督/自监督可缓解此问题5.数据增强Data Augmentation人工扩充数据多样性图像旋转、裁剪、颜色抖动文本同义词替换、随机删除表格加噪声、SMOTE少数类过采样# 图像增强用于训练fromtorchvisionimporttransforms train_transformtransforms.Compose([transforms.RandomHorizontalFlip(),transforms.RandomRotation(10),transforms.ToTensor()])⚠️注意测试时不要数据增强16.3 超参数调优 三大主流方法方法原理优点缺点网格搜索遍历所有组合全面计算爆炸维度灾难随机搜索随机采样组合高效常优于网格可能漏掉最优贝叶斯优化基于历史结果智能采样最高效实现复杂 调优流程标准实践fromsklearn.model_selectionimportRandomizedSearchCVfromscipy.statsimportuniform,randint# 定义参数空间param_dist{n_estimators:randint(50,200),max_depth:[3,5,7,None],learning_rate:uniform(0.01,0.3)}# 随机搜索 交叉验证fromxgboostimportXGBClassifier modelXGBClassifier()random_searchRandomizedSearchCV(model,param_dist,n_iter50,cv5,scoringaccuracy,random_state42,n_jobs-1)random_search.fit(X_train,y_train)print(最佳参数:,random_search.best_params_)print(最佳得分:,random_search.best_score_)进阶工具Optuna,Hyperopt支持贝叶斯优化16.4 模型融合 为什么融合有效“三个臭皮匠顶个诸葛亮” —— 不同模型犯错方式不同融合可互补1. 简单融合投票法分类硬投票多数表决软投票平均预测概率fromsklearn.ensembleimportVotingClassifierfromsklearn.linear_modelimportLogisticRegressionfromsklearn.ensembleimportRandomForestClassifierfromsklearn.svmimportSVC clf1LogisticRegression()clf2RandomForestClassifier()clf3SVC(probabilityTrue)votingVotingClassifier(estimators[(lr,clf1),(rf,clf2),(svc,clf3)],votingsoft# 使用概率)voting.fit(X_train,y_train)平均法回归pred(model1.predict(X)model2.predict(X)model3.predict(X))/32. 进阶融合堆叠Stacking基模型多个不同模型如LR、RF、SVM元模型学习如何组合基模型的输出fromsklearn.ensembleimportStackingClassifier stackingStackingClassifier(estimators[(lr,lr),(rf,rf),(svc,svc)],final_estimatorLogisticRegression(),# 元模型cv5# 用5折生成元特征)stacking.fit(X_train,y_train)✅效果通常比单一模型提升1~3%准确率16.5 半监督/自监督模型优化技巧 三大关键优化点1.伪标签筛选策略动态阈值初期阈值高如0.95后期降低课程学习先学简单样本高置信度再学难样本一致性正则对同一无标签样本做两次增强预测应一致# 动态阈值示例initial_threshold0.95final_threshold0.8thresholdinitial_threshold-(initial_threshold-final_threshold)*(epoch/max_epochs)high_confproba.max(axis1)threshold2.自监督前置任务调优掩码比例图像MAE常用75%文本BERT用15%增强强度对比学习中增强太弱→学不到东西太强→两个视角无关损失函数SimSiam用余弦相似度MAE用MSE3.无标签数据利用率提升分批加入先用高质量无标签数据再逐步扩大置信度加权高置信伪标签权重高低置信权重低对抗训练让模型对输入扰动鲁棒16.6 模型选择策略 选型决策树大量全标注少量标签大量无标签完全无标签发现结构预训练特征有多少标签数据监督学习半监督学习目标任务是什么无监督学习自监督学习 模型选择对照表场景推荐模型理由表格数据 少量标签XGBoost 伪标签树模型抗噪伪标签简单有效图像 无标签MAE / SimSiam 预训练视觉自监督SOTA文本 少量标签BERT微调 半监督利用预训练语言知识高维稀疏数据PCA Logistic Regression降维去噪线性模型稳定非球形簇 无标签DBSCAN捕捉任意形状簇 半监督/自监督 vs 传统范式维度监督学习半监督自监督数据需求大量标注少量标注大量无标注仅无标注开发成本高标注中低但需设计任务适用阶段成熟业务探索期/标注瓶颈预训练/冷启动典型产出直接可用模型改进版监督模型通用特征提取器✅实践冷启动阶段自监督预训练有少量标注后半监督微调标注充足后纯监督精调 本章总结泛化能力提升 Checklist问题解决方案工具过拟合正则化、早停、数据增强sklearn, 手动实现欠拟合增加模型复杂度、特征工程更深网络、新特征超参数不佳随机搜索、贝叶斯优化RandomizedSearchCV,Optuna单模型不稳定模型融合VotingClassifier,StackingClassifier半监督效果差优化伪标签策略、一致性正则动态阈值、增强一致性自监督特征弱调整前置任务、增强策略掩码比例、对比学习温度建议先保证数据质量第15章从简单模型开始如逻辑回归用交叉验证评估逐步引入复杂技术正则→融合→半监督提醒泛化能力不是靠一个神奇算法而是系统性工程——数据、模型、训练、评估缺一不可资料关注公众号咚咚王giteehttps://gitee.com/wy18585051844/ai_learning《Python编程从入门到实践》《利用Python进行数据分析》《算法导论中文第三版》《概率论与数理统计第四版 (盛骤) 》《程序员的数学》《线性代数应该这样学第3版》《微积分和数学分析引论》《西瓜书周志华-机器学习》《TensorFlow机器学习实战指南》《Sklearn与TensorFlow机器学习实用指南》《模式识别第四版》《深度学习 deep learning》伊恩·古德费洛著 花书《Python深度学习第二版(中文版)【纯文本】 (登封大数据 (Francois Choliet)) (Z-Library)》《深入浅出神经网络与深度学习(迈克尔·尼尔森MichaelNielsen》《自然语言处理综论 第2版》《Natural-Language-Processing-with-PyTorch》《计算机视觉-算法与应用(中文版)》《Learning OpenCV 4》《AIGC智能创作时代》杜雨张孜铭《AIGC原理与实践零基础学大语言模型、扩散模型和多模态模型》《从零构建大语言模型中文版》《实战AI大模型》《AI 3.0》