01 · 机器学习

线性回归与逻辑回归

从最小二乘到最大似然,掌握最常考的线性模型

◷ 42 分钟◈ 面试核心▤ 5 面试八股◉ 5 题
知识来源桌面面试资料 + 工程实践补充41 units · 216 interview · 224 quiz
资料覆盖审计4 份资料 · 173 页 · 目录知识点逐项映射
ML 6 单元DL 6 单元CV 6 单元NLP 6 单元AGENT 17 单元
ZERO-BASE START

先建立本单元的知识地基

本单元先明确 样本、特征与标签、监督学习、损失函数,再进入「线性回归与逻辑回归」的机制、取舍与工程应用。

01先认清术语每个缩写和变量先说明是什么
02再理解机制沿输入→计算→输出阅读
03最后回答面试定义、原理、取舍、工程排错
样本、特征与标签
Observation · Environment Observation环境观察:工具或外部世界返回的真实结果,必须写回状态供下一步决策。

样本是一条观测;特征 x 是模型看到的输入;标签 y 是希望模型预测的目标。

监督学习

给定成对的输入 x 和正确答案 y,学习从输入到输出的映射。

损失函数

把预测错误程度变成一个可优化的标量;训练的直接目标是让平均损失变小。

MSE(均方误差)
MSE · Mean Squared Error

回归中把每个预测误差平方后取平均,因此大误差会受到更强惩罚。

MSE = (1/n)Σ(ŷ-y)²
概率与似然

概率是在参数固定时看数据发生的可能性;似然是在数据固定时比较哪些参数更能解释数据。

Sigmoid

把实数压到 (0,1),适合二分类概率和门控;绝对值很大时曲线饱和、梯度接近 0。

σ(x)=1/(1+e⁻ˣ)
交叉熵
CE · Cross-Entropy

分类中衡量预测概率分布与真实标签的差异;对错误且过度自信的预测惩罚很大。

CE = -Σ yᵢ log pᵢ
概率校准

若模型给出的 80% 置信预测约有 80% 真正确,说明概率校准良好。

  • 能从概率假设解释 MSE 与交叉熵
  • 说清 LR、线性回归和最大熵的关系
  • 掌握多分类、特征交叉与概率校准
01

线性回归:假设、闭式解与梯度下降

首次出现术语先理解这些词,再阅读本节
SGDStochastic Gradient Descent

随机梯度下降:用 mini-batch 梯度更新参数,可配合 momentum。

GDGradient Descent

梯度下降:沿损失梯度反方向更新参数。

线性回归假设 y = Xw + ε,若 ε 独立同分布且服从零均值高斯噪声,则最大似然等价于最小化 MSE。闭式解 w=(XᵀX)⁻¹Xᵀy 适合特征维度不高且矩阵可逆的情形;高维、稀疏或流式数据通常使用 SGD/mini-batch GD。共线性会使 XᵀX 病态,参数方差增大。

面试重点面试回答不要只背公式:先说噪声假设,再说目标函数,最后说明计算复杂度和适用场景。
02

逻辑回归:对数几率与交叉熵

首次出现术语先理解这些词,再阅读本节
LRLogistic Regression

逻辑回归:用线性打分经过 Sigmoid/Softmax 得到分类概率;在少数语境中 LR 也可能指学习率。

LR 假设 log(p/(1-p)) = wᵀx+b,即对数几率是特征的线性函数。Sigmoid 把实数映射到 (0,1),伯努利分布的负对数似然就是二分类交叉熵。交叉熵关于线性参数是凸函数,而把 MSE 与 Sigmoid 组合会产生不理想的非凸曲率与梯度饱和。

面试重点LR 是线性决策边界,但通过特征交叉、核映射或上游非线性表示可拟合非线性关系。
03

多分类、优化与校准

首次出现术语先理解这些词,再阅读本节
OvROne-vs-Rest

一对其余:为每个类别训练一个“该类对其他类”的二分类器。

OvOOne-vs-One

一对一:为每对类别训练分类器,再通过投票或概率合并输出。

L1L1 Regularization

L1 正则把参数绝对值之和加入目标,常产生稀疏系数。

L2L2 Regularization

L2 正则惩罚参数平方和,使权重整体变小但通常不精确为零。

ECEExpected Calibration Error

期望校准误差:把预测按置信度分桶,比较每桶平均置信度和真实准确率。

多分类可用 OvR、OvO 或 softmax multinomial LR。OvR 训练 K 个二分类器,易并行但概率不天然归一;softmax 直接建模互斥类别分布。L1 适合稀疏选择,L2 缓解共线性。线上若依赖置信度,还要用 reliability diagram、ECE、Platt scaling 或 isotonic regression 检查和修正校准。

面试重点分类阈值不是固定 0.5:应根据误报/漏报代价和业务容量在验证集上选择。
标准图示与论文架构

标准图示与论文架构

先阅读标准架构、函数曲线或计算结构,再用辅助卡片梳理对比与工程取舍。

标准技术图示常用激活函数曲线

横轴是输入 x,纵轴是激活值 f(x)。曲线形状直接决定输出范围、梯度传播和是否容易饱和。

ReLU:正区间梯度为 1,负区间为 0Sigmoid:输出 (0,1),两端会饱和tanh:输出 (-1,1),以 0 为中心
高频面试八股

高频面试八股

先口述 60–90 秒,再展开答案;重点覆盖原理、对比、工程选择和易错点。

Q01

为什么线性回归常用 MSE?

Q02

LR 为什么用交叉熵而不是 MSE?

Q03

LR 与 SVM 的核心区别?

Q04

高度相关特征为什么会影响 LR?

Q05

如何做不平衡二分类?

✦面试速记
  • MSE 来自高斯噪声 MLE。
  • LR 建模对数几率,交叉熵来自伯努利似然。
  • 阈值、校准和业务代价同样属于模型设计。
知识复习

线性回归与逻辑回归 · Quiz

完成本单元选择题,检查概念、对比与工程判断。

5题
01

高斯噪声假设下,线性回归 MLE 等价于最小化?

02

逻辑回归直接假设哪个量是线性的?

03

L1 正则通常产生什么效果?

04

互斥多分类最直接的概率模型是?

05

线上关心预测概率可信度时应检查?