企业官网建设流程全解析

新乡模板建站,销售管理系统网站模板,编程在线,淘宝做网站的多少钱什么是线性回归#xff1f;线性回归是一种简单却强大的机器学习方法#xff0c;用来预测两个变量之间的关系。想象一下#xff0c;你想根据房子的面积来预测房价#xff1a;面积越大#xff0c;房价越高。这时候#xff0c;我们可以用一条直线来“拟合”这些数据点#…什么是线性回归线性回归是一种简单却强大的机器学习方法用来预测两个变量之间的关系。想象一下你想根据房子的面积来预测房价面积越大房价越高。这时候我们可以用一条直线来“拟合”这些数据点让这条线尽可能靠近所有点从而做出预测。简单来说线性回归的模型就是y mx b其中y 是预测值比如房价x 是输入比如面积m 是斜率表示变化率b 是截距起始点。我们的目标是找到最佳的 m 和 b让预测尽可能准确。损失函数的作用要找到最佳直线我们需要一个“裁判”来衡量这条线拟合得“好不好”。这就是损失函数Loss Function的角色。它计算预测值和真实值之间的差距通常用“均方误差”Mean Squared Error, MSE作为损失函数。通俗解释对于每个数据点计算预测值减去真实值的“误差”也叫残差。把误差平方这样正负误差不会抵消还能放大大误差。然后取所有误差平方的平均值。MSE 公式别怕很简单n 是数据点数量Σ 是求和y_real 是真实值y_pred 是预测值。损失函数越小说明直线拟合得越好。我们通过优化算法比如梯度下降不断调整 m 和 b来最小化这个损失。下面是一个例子假设我们有一些随机生成的数据点x 和 y用线性回归拟合一条直线。上图中绿色点是真实数据红色线是拟合的直线。损失函数就是基于这些点到线的垂直距离残差来计算的。为了更直观地看误差我们可以画出残差图每个点的残差y_real - y_pred分布在零线附近。如果残差随机分布说明模型不错如果有模式可能需要改进。在这个残差图中紫色点是每个数据的误差黑色线是零误差线。损失函数就是这些点平方后平均的值。通过最小化损失我们让这些点尽量靠近零线。总之损失函数是线性回归的“核心裁判”帮助我们训练出可靠的模型。在实际应用中如果你有数据可以用Python的scikit-learn库轻松计算这张图的核心信息很直观蓝点训练数据样本红线一个线性模型的预测损失loss每个蓝点到红线的“偏差”在回归里通常就是纵向残差把所有样本的偏差“汇总成一个数”就是损失函数训练就是让这个数尽量小从而把红线“调到最贴近蓝点的一条”。1) 损失函数到底是什么一句话损失函数 用一个数字衡量“模型预测有多错”并用它来指导参数更新。它回答的是“我这条红线模型画得好不好差了多少”2) 回归任务里最常见的损失对应这张图(1) 平方损失 / MSE最经典对每个点的误差平方后再平均直觉误差越大平方后惩罚急剧变大对离群点更敏感数学性质好可导、常见情况下可凸优化方便在线性回归 MSE 的情况下最小化 MSE 就是大家熟悉的OLS 最小二乘(2) 绝对值损失 / MAE直觉对离群点更“温和”更鲁棒但在 0 附近不可导实践中也能用次梯度/平滑近似解决(3) Huber 损失折中小误差像 MSE大误差像 MAE小误差用平方稳定、可导大误差用线性抗离群点3) 分类任务里常见的损失图里没画但同一思想分类不是“点到线的距离”而是“你把正确类别的概率给得够不够高”。(1) 交叉熵Cross-Entropy / Log Loss二分类常写成直觉预测得越自信但越错惩罚越大“错得离谱”惩罚最重与最大似然等价最小化交叉熵 ≈ 最大化数据在模型下的概率4) 损失函数在训练里怎么“驱动模型变好”训练就是解一个优化问题θ模型参数这张图里就是 w,b模型输出红线给出的常用做法梯度下降直觉损失函数像“地形高度”参数更新像“往山谷最低处走”。5) 损失函数 ≠ 评估指标经常被混用损失函数训练时用需要可优化通常要可导/稳定评估指标报告效果用比如 Accuracy、F1、AUC、R² 等比如分类里训练用交叉熵但你最后可能更关心 Accuracy/F1。6) 进阶正则化也是“损失的一部分”为了防止过拟合常把“模型复杂度惩罚”加进来L2 正则让参数别太大L1 正则​促稀疏如果你愿意我们可以拿这张图“假设一组点坐标”手算一次给定某条红线 ywxb逐点算残差算 MSE/MAE/Huber你会立刻明白“损失”为什么能把线一步步推向更合理的位置。我就用一组“长得像图里那样”的小数据带你把残差 → 损失MSE/MAE/Huber→ 用损失推动红线移动走一遍。0) 造一组小数据5个点我们取 5 个样本大致呈上升趋势ix_iy_i​11062209330134401555018模型用直线1) 先随便画一条线w0.20, b4(1) 逐点算预测值、残差残差我用​ixy​残差110660022098113301310394401512395501814416(2) 汇总成损失MSEMAE直觉第 5 个点离得很远误差 4MSE 因为平方会更“介意”。2) 换一条更像的线ixy残差 e11066.00.0022098.80.20.043301311.61.41.964401514.40.60.365501817.20.80.64MSEMAE你看到没同一批点换了 w,b损失立刻从 7 掉到 0.6——这就是训练要做的事找让损失最小的那条红线。3) 再看 Huber更抗离群点取 δ1Huber 对单个误差若 ∣e∣≤1若 ∣e∣1线1w0.2,b4误差0,1,3,3,4Huber 和0 → 01 → 0.53 → 2.5因为 3-0.53 → 2.54 → 3.5总和 9.0平均 9/51.8线2w0.28,b3.2误差0,0.2,1.4,0.6,0.80 → 00.2 → 0.5·0.040.021.4 → 1.4-0.50.90.6 → 0.5·0.360.180.8 → 0.5·0.640.32总和 1.42平均 1.42/50.284Huber 的感觉大误差不会像 MSE 那样被“平方放大得离谱”。4) 损失怎么“推着红线走”用一次梯度下降演示用 MSE更好算但梯度通常用这个差对线1w0.2,b4 时是 6,8,10,12,14所以为0, -1, -3, -3, -4于是n5做一步梯度下降学习率取小点 η0.0005直觉解释现在多数点是所以 d0梯度是负数更新后 w,b 增大红线整体“抬高/变陡”更贴近点云。这一步更新后的 MSE 会大幅下降确实更接近我们上面那条“更好线”。我们把这 5 个点用OLS最小二乘闭式解把最优直线一次算出来。数据同前模型目标OLS1) OLS 的闭式解公式简单线性回归常用两种等价写法写法A用均值/离差写法B用各种求和2) 先把必要的求和算出来样本数 n53) 代入闭式解直接得到 w,b(1) 算斜率 w(2) 算截距 b✅最优直线​4) 验证一下这条线的误差有多小预测值残差​平方和SSEMSE按 n平均我们把闭式解从“最小化平方和”一步步推导出来。你会看到它本质上就是让“误差平方和”对 w,bw,bw,b 的斜率为 0到达最低点。1) 目标函数平方误差和SSE线性回归模型残差要最小化的函数SSE为什么用平方因为平方能把正负误差都变成正数并且“大错惩罚更重”而且数学上可导方便求最小值。2) 对 b 求偏导找到最优截距条件令则对 b求偏导而所以​最小值点满足偏导为 0代回∑(yi−wxi−b)0\sum (y_i-wx_i-b)0∑(yi​−wxi​−b)0展开得到第一条正规方程直觉最优时残差的总和为 0正负误差相互抵消。3) 对 w 求偏导找到最优斜率条件同理而所以​令其为 0代回展开得到第二条正规方程直觉这是“带 x 权重的残差和为 0”保证斜率方向也达到最优。4) 两条正规方程联立解出 w,bw,bw,b我们现在有为了写起来更清爽记则从第一式解 b​​代入第二式两边乘 n把 w 的项合并所以再带回​​​这就是你刚才看到的闭式解公式来源。5) 把我们的具体数据代进去快速复现一次前面我们算过n5斜率截距6) 一个很重要的“几何直觉”帮你记住截距怎么来我们还可以从推出​也就是说最小二乘的回归直线一定经过点样本均值点。这是一个特别好用的直觉。