线性回归与逻辑回归
从最小二乘到最大似然,掌握最常考的线性模型
先建立本单元的知识地基
本单元先明确 样本、特征与标签、监督学习、损失函数,再进入「线性回归与逻辑回归」的机制、取舍与工程应用。
样本是一条观测;特征 x 是模型看到的输入;标签 y 是希望模型预测的目标。
给定成对的输入 x 和正确答案 y,学习从输入到输出的映射。
把预测错误程度变成一个可优化的标量;训练的直接目标是让平均损失变小。
回归中把每个预测误差平方后取平均,因此大误差会受到更强惩罚。
MSE = (1/n)Σ(ŷ-y)²概率是在参数固定时看数据发生的可能性;似然是在数据固定时比较哪些参数更能解释数据。
把实数压到 (0,1),适合二分类概率和门控;绝对值很大时曲线饱和、梯度接近 0。
σ(x)=1/(1+e⁻ˣ)分类中衡量预测概率分布与真实标签的差异;对错误且过度自信的预测惩罚很大。
CE = -Σ yᵢ log pᵢ若模型给出的 80% 置信预测约有 80% 真正确,说明概率校准良好。
- 能从概率假设解释 MSE 与交叉熵
- 说清 LR、线性回归和最大熵的关系
- 掌握多分类、特征交叉与概率校准
线性回归:假设、闭式解与梯度下降
随机梯度下降:用 mini-batch 梯度更新参数,可配合 momentum。
梯度下降:沿损失梯度反方向更新参数。
线性回归假设 y = Xw + ε,若 ε 独立同分布且服从零均值高斯噪声,则最大似然等价于最小化 MSE。闭式解 w=(XᵀX)⁻¹Xᵀy 适合特征维度不高且矩阵可逆的情形;高维、稀疏或流式数据通常使用 SGD/mini-batch GD。共线性会使 XᵀX 病态,参数方差增大。
逻辑回归:对数几率与交叉熵
逻辑回归:用线性打分经过 Sigmoid/Softmax 得到分类概率;在少数语境中 LR 也可能指学习率。
LR 假设 log(p/(1-p)) = wᵀx+b,即对数几率是特征的线性函数。Sigmoid 把实数映射到 (0,1),伯努利分布的负对数似然就是二分类交叉熵。交叉熵关于线性参数是凸函数,而把 MSE 与 Sigmoid 组合会产生不理想的非凸曲率与梯度饱和。
多分类、优化与校准
一对其余:为每个类别训练一个“该类对其他类”的二分类器。
一对一:为每对类别训练分类器,再通过投票或概率合并输出。
L1 正则把参数绝对值之和加入目标,常产生稀疏系数。
L2 正则惩罚参数平方和,使权重整体变小但通常不精确为零。
期望校准误差:把预测按置信度分桶,比较每桶平均置信度和真实准确率。
多分类可用 OvR、OvO 或 softmax multinomial LR。OvR 训练 K 个二分类器,易并行但概率不天然归一;softmax 直接建模互斥类别分布。L1 适合稀疏选择,L2 缓解共线性。线上若依赖置信度,还要用 reliability diagram、ECE、Platt scaling 或 isotonic regression 检查和修正校准。
标准图示与论文架构
先阅读标准架构、函数曲线或计算结构,再用辅助卡片梳理对比与工程取舍。
横轴是输入 x,纵轴是激活值 f(x)。曲线形状直接决定输出范围、梯度传播和是否容易饱和。
高频面试八股
先口述 60–90 秒,再展开答案;重点覆盖原理、对比、工程选择和易错点。
为什么线性回归常用 MSE?
LR 为什么用交叉熵而不是 MSE?
LR 与 SVM 的核心区别?
高度相关特征为什么会影响 LR?
如何做不平衡二分类?
- MSE 来自高斯噪声 MLE。
- LR 建模对数几率,交叉熵来自伯努利似然。
- 阈值、校准和业务代价同样属于模型设计。
线性回归与逻辑回归 · Quiz
完成本单元选择题,检查概念、对比与工程判断。