多元回归分析:推断¶
估计只给出点估计,推断回答"这个系数在统计上显著吗""能否拒绝某组约束"。本页在 MLR.1–5 之上加一条正态性假设,得到 \(\hat\beta_j\) 的精确抽样分布,从而建立单参数的 \(t\) 检验、置信区间,以及多约束的 \(F\) 检验。
核心结论速览
| 检验 | 统计量 | 分布 |
|---|---|---|
| 单参数 \(H_0:\beta_j=0\) | \(t=\dfrac{\hat\beta_j}{\mathrm{se}(\hat\beta_j)}\) | \(t_{\,n-k-1}\) |
| 置信区间 | \(\hat\beta_j\pm c\cdot\mathrm{se}(\hat\beta_j)\) | \(c\) 取 \(t_{\,n-k-1}\) 临界值 |
| 多约束(\(q\) 个排除约束) | \(F=\dfrac{(\mathrm{SSR}_r-\mathrm{SSR}_{ur})/q}{\mathrm{SSR}_{ur}/(n-k-1)}\) | \(F_{\,q,\,n-k-1}\) |
| 整体显著性 | \(F=\dfrac{R^2/k}{(1-R^2)/(n-k-1)}\) | \(F_{\,k,\,n-k-1}\) |
正态性(MLR.6)保证以上是精确分布;大样本下即使非正态,仍渐近成立(见渐近性质)。
OLS 估计量的抽样分布¶
为得到可处理的抽样分布,加一条最强的假设:
假设 MLR.6(正态性)与 CLM
总体误差 \(u\) 独立于解释变量,且服从 \(u\sim\mathrm{Normal}(0,\sigma^2)\)。它比之前任何假设都强——同时蕴含了零条件均值(MLR.4)与同方差(MLR.5)。
MLR.1–MLR.6 合称经典线性模型假设(CLM)。在 CLM 下,OLS 是所有(不限于线性)无偏估计量中方差最小的——比 BLUE 更强。
定理 4.1(正态抽样分布)
在 CLM 假设下,
标准化时用估计的 \(\hat\sigma\)(而非未知 \(\sigma\)),自由度损失使正态变为 \(t\) 分布(\(df=n-k-1\))。
单个参数的 \(t\) 检验¶
检验 \(H_0:\beta_j=0\)("控制其他变量后 \(x_j\) 对 \(y\) 无偏效应")用 \(t\) 统计量:
- 与临界值 \(c\)(由显著性水平和 \(df\) 查 \(t\) 分布)比较:\(|t|>c\) 则在该水平上拒绝 \(H_0\),称 \(x_j\) 统计显著;
- 一般原假设 \(H_0:\beta_j=a_j\) 时,\(t=(\hat\beta_j-a_j)/\mathrm{se}(\hat\beta_j)\);
- \(p\) 值:能拒绝 \(H_0\) 的最小显著性水平,\(p\) 越小证据越强。
大样本下 \(t\to\) 正态
\(t\) 分布自由度越大越接近标准正态。实务中 \(df>120\) 即可直接用正态临界值(如双侧 5% 用 1.96)。
置信区间¶
\(\beta_j\) 的 \((1-\alpha)\) 置信区间:
区间不含 \(0\) \(\iff\) 在水平 \(\alpha\) 上拒绝 \(H_0:\beta_j=0\)——置信区间与双侧 \(t\) 检验是一体两面。
检验参数的线性组合¶
形如 \(H_0:\beta_1=\beta_2\)(即 \(\beta_1-\beta_2=0\))的假设,构造
关键是别忘了协方差项。实务上常重参数化(令 \(\theta=\beta_1-\beta_2\))让软件直接输出其标准误。
多个线性约束的 \(F\) 检验¶
要同时检验多个约束(如 \(H_0:\beta_{k-q+1}=\dots=\beta_k=0\),共 \(q\) 个排除性约束),用 \(F\) 检验,思路是比较受约束模型(restricted, 去掉那 \(q\) 个变量)与不受约束模型(unrestricted)的残差平方和:
去掉变量必然使 \(\mathrm{SSR}\) 不减(\(\mathrm{SSR}_r\ge\mathrm{SSR}_{ur}\));若增加得"够多",则这些变量联合显著,拒绝 \(H_0\)。用 \(\mathrm{SSR}=\mathrm{SST}(1-R^2)\) 可改写为 \(R^2\) 形式(要求两模型因变量、样本相同):
易错点:单个 \(t\) 都不显著,联合 \(F\) 却显著?
这通常是多重共线性作祟:高度相关的变量难以单独分离各自的偏效应,故各自 \(t\) 不显著;但它们作为一组对 \(y\) 有解释力,\(F\) 检验照样拒绝。\(F\) 不是各 \(t\) 的简单叠加,不能用单个 \(t\) 推断联合显著性。
回归的整体显著性¶
特例:检验"除截距外所有系数都为零"(\(q=k\),受约束模型只剩截距,\(R^2_r=0\)):
这就是回归输出里那个"整体 \(F\) 统计量"。
速查表¶
| 目的 | 统计量 | 分布 / 判据 |
|---|---|---|
| 单系数显著性 | \(t=\hat\beta_j/\mathrm{se}(\hat\beta_j)\) | \(t_{n-k-1}\),$ |
| 系数等于 \(a_j\) | \(t=(\hat\beta_j-a_j)/\mathrm{se}\) | 同上 |
| 两系数相等 | \(t=(\hat\beta_1-\hat\beta_2)/\mathrm{se}(\cdot)\) | 含协方差项 |
| \(q\) 个约束 | \(F=\dfrac{(\mathrm{SSR}_r-\mathrm{SSR}_{ur})/q}{\mathrm{SSR}_{ur}/(n-k-1)}\) | \(F_{q,n-k-1}\) |
| 整体显著 | \(F=\dfrac{R^2/k}{(1-R^2)/(n-k-1)}\) | \(F_{k,n-k-1}\) |
易错点与考点提醒:
高频陷阱
- 自由度 \(n-k-1\) 处处出现,别数错参数个数(含截距是 \(k+1\) 个);
- \(F\) 的 \(R^2\) 形式要求两模型样本与因变量一致;因变量取了对数就不能和水平模型比 \(R^2\);
- "统计显著" ≠ "经济上重要":大样本里极小的系数也可能显著,要结合系数大小(经济意义)判断;
- 检验线性组合务必带上 \(\mathrm{Cov}(\hat\beta_1,\hat\beta_2)\) 项;
- 精确 \(t\)/\(F\) 依赖正态性 MLR.6,但大样本下可去掉它(渐近性质)。