多元回归分析：估计¶

简单回归最大的软肋是：要让 \(\beta_1\) 可信，必须假定"其他一切影响 \(y\) 的因素都与 \(x\) 无关"（SLR.4），这在观测数据里几乎不成立。多元回归把这些因素显式地放进模型，从而能在"其他条件不变"的意义下分离出每个变量的偏效应——这正是它能逼近因果推断的关键。本页讲多元 OLS 的估计与解释、遗漏变量偏误、多重共线性，以及高斯–马尔可夫定理。

核心结论速览

模型 \(y=\beta_0+\beta_1 x_1+\dots+\beta_k x_k+u\)：

对象	结论
偏效应解释	\(\hat\beta_j\) = 控制住其他自变量后 \(x_j\) 对 \(y\) 的影响：\(\Delta\hat y=\hat\beta_j\,\Delta x_j\)（余者不变）
无偏性	MLR.1–4 \(\Rightarrow E(\hat\beta_j)=\beta_j\)；含无关变量不损害无偏性（只增大方差）
遗漏变量偏误	漏掉相关变量 \(x_2\)：\(\mathrm{Bias}(\tilde\beta_1)=\beta_2\tilde\delta_1\)，符号由 \(\beta_2\) 与 \(\mathrm{Corr}(x_1,x_2)\) 共同决定
方差	MLR.1–5 \(\Rightarrow \mathrm{Var}(\hat\beta_j)=\dfrac{\sigma^2}{\mathrm{SST}_j(1-R_j^2)}\)；\(R_j^2\to1\) 即多重共线性
BLUE	MLR.1–5 \(\Rightarrow\) OLS 是最优线性无偏估计量（高斯–马尔可夫定理）

为什么要用多元回归¶

相比简单回归，多元回归的三大价值：

控制其他因素：能明确控制同时影响 \(y\) 的其他变量，从而在"其他条件不变"下解释 \(x_j\) 的作用，使非实验数据也有望用于因果推断；
更好的预测：纳入更多有解释力的因素，\(y\) 的变化能被更多地解释；
更灵活的函数形式：可容纳二次项、对数、交互项等（见深入专题）。

含 \(k\) 个自变量的一般模型与其关键假设：

\[ y=\beta_0+\beta_1 x_1+\beta_2 x_2+\dots+\beta_k x_k+u,\qquad E(u\mid x_1,\dots,x_k)=0 \]

零条件均值 \(E(u\mid x_1,\dots,x_k)=0\) 要求不可观测因素与所有解释变量无关——它是后面无偏性的命脉。注意若模型含 \(x\) 的函数（如 \(inc\) 与 \(inc^2\)），该假设可等价简化：\(E(u\mid inc,inc^2)=0\iff E(u\mid inc)=0\)。

OLS 的操作与解释¶

OLS 仍然最小化残差平方和，给出样本回归函数（SRF）：

\[ \hat y=\hat\beta_0+\hat\beta_1 x_1+\dots+\hat\beta_k x_k \]

偏效应（其他条件不变）解释

\[ \Delta\hat y=\hat\beta_1\,\Delta x_1+\hat\beta_2\,\Delta x_2+\dots+\hat\beta_k\,\Delta x_k \]

保持除 \(x_j\) 外的所有自变量不变（\(\Delta x_{l}=0,\ l\neq j\)）时，\(\Delta\hat y=\hat\beta_j\,\Delta x_j\)。这就是"控制了其他变量后"的偏效应——多元回归相对简单回归的全部意义所在。

OLS 拟合值与残差有三条代数性质（由正规方程直接得到）：

残差样本均值为零：\(\frac1n\sum_i\hat u_i=0\)；
每个自变量与残差的样本协方差为零：\(\sum_i x_{ij}\hat u_i=0\)；
样本均值点 \((\bar x_1,\dots,\bar x_k,\bar y)\) 必在 OLS 回归面上。

简单回归 vs 多元回归¶

把 \(y\) 只对 \(x_1\) 做简单回归得 \(\tilde\beta_1\)，对 \(x_1,x_2\) 做多元回归得 \(\hat\beta_1\)，两者的关系是：

\[ \tilde\beta_1=\hat\beta_1+\hat\beta_2\,\tilde\delta_1 \]

其中 \(\tilde\delta_1\) 是 \(x_2\) 对 \(x_1\) 做简单回归的斜率。二者相等仅在两种情形：\(\hat\beta_2=0\)（\(x_2\) 对 \(y\) 无偏效应），或 \(\tilde\delta_1=0\)（样本中 \(x_1,x_2\) 不相关）。这条恒等式正是下文遗漏变量偏误的来源。

拟合优度¶

仍有 \(\mathrm{SST}=\mathrm{SSE}+\mathrm{SSR}\) 与 \(R^2=\mathrm{SSE}/\mathrm{SST}=1-\mathrm{SSR}/\mathrm{SST}\)。

易错点：\(R^2\) 随变量增加只升不降

每往回归里多加一个自变量，\(\mathrm{SSR}\) 绝不会增加，故 \(R^2\) 绝不会下降（通常还上升）。所以 \(R^2\) 不能用来判断该不该加变量——否则会鼓励无脑塞变量。后面用调整 \(R^2\) 来纠正这一点。

另外，两个回归用的观测集不同时（如某变量有缺失），\(R^2\) 不可比。

OLS 估计量的期望：无偏性¶

假设 MLR.1–MLR.4

MLR.1 参数线性：\(y=\beta_0+\beta_1 x_1+\dots+\beta_k x_k+u\)；
MLR.2 随机抽样：\(\{(x_{i1},\dots,x_{ik},y_i)\}_{i=1}^n\) 来自总体；
MLR.3 不存在完全共线性：自变量间无严格线性关系（允许相关，但不能完全相关；需 \(n\ge k+1\)）；
MLR.4 零条件均值：\(E(u\mid x_1,\dots,x_k)=0\)（解释变量外生）。

定理 3.1（OLS 的无偏性）

在 MLR.1–MLR.4 下，对所有 \(j\)：\(E(\hat\beta_j)=\beta_j\)。

含无关变量 vs 漏掉相关变量

多放了无关变量（过度设定，真值 \(\beta_j=0\) 却纳入）：不损害无偏性（无偏只需外生性），但会增大方差——代价是效率；
漏掉了相关变量（设定不足）：一般导致有偏——这是更严重的错误，见下。

遗漏变量偏误（OVB）¶

设真实模型含 \(x_1,x_2\)，却只回归 \(x_1\)。由 \(\tilde\beta_1=\hat\beta_1+\hat\beta_2\tilde\delta_1\) 取期望：

\[ E(\tilde\beta_1)=\beta_1+\beta_2\,\tilde\delta_1 \quad\Longrightarrow\quad \mathrm{Bias}(\tilde\beta_1)=\beta_2\,\tilde\delta_1 \]

偏误符号由 \(\beta_2\)（遗漏变量对 \(y\) 的作用）与 \(\tilde\delta_1\)（即 \(\mathrm{Corr}(x_1,x_2)\) 的符号）共同决定：

	\(\mathrm{Corr}(x_1,x_2)>0\)	\(\mathrm{Corr}(x_1,x_2)<0\)
\(\beta_2>0\)	向上偏（正偏）	向下偏（负偏）
\(\beta_2<0\)	向下偏（负偏）	向上偏（正偏）

\(x_1,x_2\) 不相关（\(\tilde\delta_1=0\)）时无偏。更一般情形：若只关心 \(x_1\) 且可近似认为 \(x_1\) 与其他自变量无关，则可只看被漏变量与 \(x_1\) 的关系来判断偏误方向。

例：判断偏误方向

估计"教育 \(x_1\) 对工资 \(y\) 的回报"时遗漏"能力 \(x_2\)"。能力对工资有正作用（\(\beta_2>0\)），且能力与受教育程度正相关（\(\mathrm{Corr}>0\)）\(\Rightarrow\) \(\tilde\beta_1\) 向上偏，高估了教育的回报。这是 OVB 最经典的例子。

OLS 估计量的方差¶

假设 MLR.5（同方差）

\(\mathrm{Var}(u\mid x_1,\dots,x_k)=\sigma^2\)（与解释变量无关）。

定理 3.2（抽样方差）

在 MLR.1–MLR.5 下，

\[ \mathrm{Var}(\hat\beta_j)=\frac{\sigma^2}{\mathrm{SST}_j\,(1-R_j^2)} \]

其中 \(\mathrm{SST}_j=\sum_i(x_{ij}-\bar x_j)^2\)，\(R_j^2\) 是把 \(x_j\) 对其余所有自变量回归得到的 \(R^2\)。

方差取决于三个因素：

因素	方向	含义
误差方差 \(\sigma^2\)	\(\uparrow\Rightarrow\) 方差 \(\uparrow\)	不可观测干扰越大越难估准
\(x_j\) 的波动 \(\mathrm{SST}_j\)	\(\uparrow\Rightarrow\) 方差 \(\downarrow\)	增大样本量可提高
\(R_j^2\)（与其他自变量的线性关系）	\(\uparrow\Rightarrow\) 方差 \(\uparrow\)	\(R_j^2\to1\) 即多重共线性

多重共线性

两个或多个自变量高度（但不完全）相关，使对应的 \(R_j^2\) 接近 1、\(\mathrm{Var}(\hat\beta_j)\) 暴涨——系数估不准、标准误巨大。注意它不违反任何 MLR 假设，OLS 仍是 BLUE；只是数据信息不足以分离高度相关变量的各自效应。

误差方差用 \(\hat\sigma^2=\dfrac{\mathrm{SSR}}{n-k-1}\) 无偏估计（自由度 \(df=n-k-1\)，因有 \(k+1\) 个参数）。代入即得标准误：

\[ \mathrm{se}(\hat\beta_j)=\frac{\hat\sigma}{\sqrt{\mathrm{SST}_j(1-R_j^2)}} \]

易错点：标准误依赖同方差

上述 \(\mathrm{se}(\hat\beta_j)\) 的推导依赖 MLR.5。一旦误差异方差，通常的 OLS 标准误就不可靠、\(t\)/\(F\) 推断失效——补救见异方差性（稳健标准误）。

高斯–马尔可夫定理¶

定理 3.4（高斯–马尔可夫定理）

在 MLR.1–MLR.5 下，OLS 估计量是 \(\beta_j\) 的最优线性无偏估计量（BLUE）：

线性：能写成 \(\tilde\beta_j=\sum_i w_{ij}y_i\)（因变量数据的线性组合）；
无偏：\(E(\hat\beta_j)=\beta_j\)（只需 MLR.1–4）；
最优：在所有线性无偏估计量中方差最小——对任意线性无偏 \(\tilde\beta_j\)，有 \(\mathrm{Var}(\hat\beta_j)\le\mathrm{Var}(\tilde\beta_j)\)。

一旦 MLR.5 被破坏（异方差），OLS 不再 BLUE，加权最小二乘（WLS）可能更优。

多元回归的语言表述¶

同一模型在不同层次的写法要分清（原讲义第 3.6 节配图，转写如下）：

\[ \begin{aligned} \textbf{总体模型：}\quad & y=\beta_0+\beta_1 x_1+\beta_2 x_2+\dots+\beta_k x_k+u \\[2pt] \textbf{总体回归函数（条件均值）：}\quad & E(y\mid \boldsymbol{x})=\beta_0+\beta_1 x_1+\beta_2 x_2+\dots+\beta_k x_k \\[2pt] \textbf{估计的样本回归函数：}\quad & \hat y=\hat\beta_0+\hat\beta_1 x_1+\hat\beta_2 x_2+\dots+\hat\beta_k x_k \end{aligned} \]

三行的区别：第一行含随机误差 \(u\)（真实数据生成过程）；第二行取了条件期望、不含 \(u\)（理论上的平均关系）；第三行是用样本估出的、带"帽子"的可计算版本。

速查表¶

量	公式
偏效应	\(\Delta\hat y=\hat\beta_j\,\Delta x_j\)（其他不变）
OVB	\(\mathrm{Bias}(\tilde\beta_1)=\beta_2\,\tilde\delta_1\)
系数方差	\(\mathrm{Var}(\hat\beta_j)=\dfrac{\sigma^2}{\mathrm{SST}_j(1-R_j^2)}\)
误差方差估计	\(\hat\sigma^2=\dfrac{\mathrm{SSR}}{n-k-1}\)
标准误	\(\mathrm{se}(\hat\beta_j)=\dfrac{\hat\sigma}{\sqrt{\mathrm{SST}_j(1-R_j^2)}}\)

假设 → 结论链：MLR.1–4 ⇒ 无偏 & 一致；MLR.1–5 ⇒ 方差公式 & BLUE；（加 MLR.6 正态 ⇒ 精确 \(t\)/\(F\)，见推断）。

易错点与考点提醒：

高频陷阱

加无关变量 → 不偏、只增方差；漏相关变量 → 有偏（OVB）。"宁可多控制、不要漏关键变量"，但也别无脑塞变量（方差代价）；
OVB 方向：背下 \(\beta_2\times\mathrm{Corr}(x_1,x_2)\) 的 2×2 符号表；
多重共线性不违反假设：OLS 仍 BLUE，问题只是方差大、估不准；它不影响无偏性；
\(R^2\) 只升不降，故不能作选变量依据；不同观测集的 \(R^2\) 不可比。