跳转至

多元回归分析:推断

估计只给出点估计,推断回答"这个系数在统计上显著吗""能否拒绝某组约束"。本页在 MLR.1–5 之上加一条正态性假设,得到 \(\hat\beta_j\) 的精确抽样分布,从而建立单参数的 \(t\) 检验、置信区间,以及多约束的 \(F\) 检验。

核心结论速览

检验 统计量 分布
单参数 \(H_0:\beta_j=0\) \(t=\dfrac{\hat\beta_j}{\mathrm{se}(\hat\beta_j)}\) \(t_{\,n-k-1}\)
置信区间 \(\hat\beta_j\pm c\cdot\mathrm{se}(\hat\beta_j)\) \(c\) 取 \(t_{\,n-k-1}\) 临界值
多约束(\(q\) 个排除约束) \(F=\dfrac{(\mathrm{SSR}_r-\mathrm{SSR}_{ur})/q}{\mathrm{SSR}_{ur}/(n-k-1)}\) \(F_{\,q,\,n-k-1}\)
整体显著性 \(F=\dfrac{R^2/k}{(1-R^2)/(n-k-1)}\) \(F_{\,k,\,n-k-1}\)

正态性(MLR.6)保证以上是精确分布;大样本下即使非正态,仍渐近成立(见渐近性质)。

OLS 估计量的抽样分布

为得到可处理的抽样分布,加一条最强的假设:

假设 MLR.6(正态性)与 CLM

总体误差 \(u\) 独立于解释变量,且服从 \(u\sim\mathrm{Normal}(0,\sigma^2)\)。它比之前任何假设都强——同时蕴含了零条件均值(MLR.4)与同方差(MLR.5)。

MLR.1–MLR.6 合称经典线性模型假设(CLM)。在 CLM 下,OLS 是所有(不限于线性)无偏估计量中方差最小的——比 BLUE 更强。

定理 4.1(正态抽样分布)

在 CLM 假设下,

\[ \hat\beta_j\sim\mathrm{Normal}\big(\beta_j,\ \mathrm{Var}(\hat\beta_j)\big), \qquad \frac{\hat\beta_j-\beta_j}{\mathrm{se}(\hat\beta_j)}\sim t_{\,n-k-1} \]

标准化时用估计的 \(\hat\sigma\)(而非未知 \(\sigma\)),自由度损失使正态变为 \(t\) 分布(\(df=n-k-1\))。

单个参数的 \(t\) 检验

检验 \(H_0:\beta_j=0\)("控制其他变量后 \(x_j\) 对 \(y\) 无偏效应")用 \(t\) 统计量:

\[ t_{\hat\beta_j}=\frac{\hat\beta_j}{\mathrm{se}(\hat\beta_j)} \]
  • 与临界值 \(c\)(由显著性水平和 \(df\) 查 \(t\) 分布)比较:\(|t|>c\) 则在该水平上拒绝 \(H_0\),称 \(x_j\) 统计显著;
  • 一般原假设 \(H_0:\beta_j=a_j\) 时,\(t=(\hat\beta_j-a_j)/\mathrm{se}(\hat\beta_j)\);
  • \(p\) 值:能拒绝 \(H_0\) 的最小显著性水平,\(p\) 越小证据越强。

大样本下 \(t\to\) 正态

\(t\) 分布自由度越大越接近标准正态。实务中 \(df>120\) 即可直接用正态临界值(如双侧 5% 用 1.96)。

置信区间

\(\beta_j\) 的 \((1-\alpha)\) 置信区间:

\[ \hat\beta_j\ \pm\ c\cdot\mathrm{se}(\hat\beta_j),\qquad c=t_{\,n-k-1,\,1-\alpha/2} \]

区间不含 \(0\) \(\iff\) 在水平 \(\alpha\) 上拒绝 \(H_0:\beta_j=0\)——置信区间与双侧 \(t\) 检验是一体两面。

检验参数的线性组合

形如 \(H_0:\beta_1=\beta_2\)(即 \(\beta_1-\beta_2=0\))的假设,构造

\[ t=\frac{\hat\beta_1-\hat\beta_2}{\mathrm{se}(\hat\beta_1-\hat\beta_2)},\qquad \mathrm{se}(\hat\beta_1-\hat\beta_2)=\sqrt{\mathrm{Var}(\hat\beta_1)+\mathrm{Var}(\hat\beta_2)-2\,\mathrm{Cov}(\hat\beta_1,\hat\beta_2)} \]

关键是别忘了协方差项。实务上常重参数化(令 \(\theta=\beta_1-\beta_2\))让软件直接输出其标准误。

多个线性约束的 \(F\) 检验

要同时检验多个约束(如 \(H_0:\beta_{k-q+1}=\dots=\beta_k=0\),共 \(q\) 个排除性约束),用 \(F\) 检验,思路是比较受约束模型(restricted, 去掉那 \(q\) 个变量)与不受约束模型(unrestricted)的残差平方和:

\[ F=\frac{(\mathrm{SSR}_r-\mathrm{SSR}_{ur})/q}{\mathrm{SSR}_{ur}/(n-k-1)}\ \sim\ F_{\,q,\,n-k-1} \]

去掉变量必然使 \(\mathrm{SSR}\) 不减(\(\mathrm{SSR}_r\ge\mathrm{SSR}_{ur}\));若增加得"够多",则这些变量联合显著,拒绝 \(H_0\)。用 \(\mathrm{SSR}=\mathrm{SST}(1-R^2)\) 可改写为 \(R^2\) 形式(要求两模型因变量、样本相同):

\[ F=\frac{(R^2_{ur}-R^2_{r})/q}{(1-R^2_{ur})/(n-k-1)} \]

易错点:单个 \(t\) 都不显著,联合 \(F\) 却显著?

这通常是多重共线性作祟:高度相关的变量难以单独分离各自的偏效应,故各自 \(t\) 不显著;但它们作为一组对 \(y\) 有解释力,\(F\) 检验照样拒绝。\(F\) 不是各 \(t\) 的简单叠加,不能用单个 \(t\) 推断联合显著性。

回归的整体显著性

特例:检验"除截距外所有系数都为零"(\(q=k\),受约束模型只剩截距,\(R^2_r=0\)):

\[ F=\frac{R^2/k}{(1-R^2)/(n-k-1)}\ \sim\ F_{\,k,\,n-k-1} \]

这就是回归输出里那个"整体 \(F\) 统计量"。

速查表

目的 统计量 分布 / 判据
单系数显著性 \(t=\hat\beta_j/\mathrm{se}(\hat\beta_j)\) \(t_{n-k-1}\),$
系数等于 \(a_j\) \(t=(\hat\beta_j-a_j)/\mathrm{se}\) 同上
两系数相等 \(t=(\hat\beta_1-\hat\beta_2)/\mathrm{se}(\cdot)\) 含协方差项
\(q\) 个约束 \(F=\dfrac{(\mathrm{SSR}_r-\mathrm{SSR}_{ur})/q}{\mathrm{SSR}_{ur}/(n-k-1)}\) \(F_{q,n-k-1}\)
整体显著 \(F=\dfrac{R^2/k}{(1-R^2)/(n-k-1)}\) \(F_{k,n-k-1}\)

易错点与考点提醒:

高频陷阱

  • 自由度 \(n-k-1\) 处处出现,别数错参数个数(含截距是 \(k+1\) 个);
  • \(F\) 的 \(R^2\) 形式要求两模型样本与因变量一致;因变量取了对数就不能和水平模型比 \(R^2\);
  • "统计显著" ≠ "经济上重要":大样本里极小的系数也可能显著,要结合系数大小(经济意义)判断;
  • 检验线性组合务必带上 \(\mathrm{Cov}(\hat\beta_1,\hat\beta_2)\) 项;
  • 精确 \(t\)/\(F\) 依赖正态性 MLR.6,但大样本下可去掉它(渐近性质)。