跳转至

OLS 的渐近性质

无偏性、BLUE 是有限样本性质,且 \(t\)/\(F\) 的精确分布依赖正态性假设 MLR.6。本页讨论样本量 \(n\to\infty\) 时 OLS 的大样本(渐近)性质:即便误差不正态,只要 MLR.1–5 成立,OLS 仍一致且渐近正态,于是 \(t\)/\(F\) 检验在大样本下照常可用——这让我们能甩掉那条最强的正态性假设。

核心结论速览

性质 需要的假设 含义
一致性 MLR.1–4(或更弱的 MLR.4′) \(\hat\beta_j\xrightarrow{p}\beta_j\):\(n\) 越大越集中于真值
不一致性 \(x_j\) 与 \(u\) 相关 \(\mathrm{plim}\,\hat\beta_j\neq\beta_j\),渐近偏误不随 \(n\) 消失
渐近正态 MLR.1–5(无需 MLR.6) \(\hat\beta_j\) 近似正态,\(t\)/\(F\) 大样本下照常可用
渐近有效 MLR.1–5(高斯–马尔可夫) OLS 渐近方差最小(定理 5.3)
LM 检验 大样本 \(LM=nR_u^2\sim\chi^2_q\),只需估约束模型

一致性

定义(一致性)

随 \(n\) 增大,\(\hat\beta_j\) 的抽样分布越来越紧密地集中在 \(\beta_j\) 周围,极限处退化到一点:

\[ \mathrm{plim}\,\hat\beta_j=\beta_j\quad(n\to\infty) \]

称 \(\hat\beta_j\) 是 \(\beta_j\) 的一致估计量。无偏是"平均对",一致是"样本够大就几乎一定对"——两者不同(有偏也可能一致,无偏也可能不一致)。

定理 5.1(OLS 的一致性)

在 MLR.1–MLR.4 下,OLS 估计量对所有 \(j\) 都一致。

事实上一致性只需更弱的假设:

  • MLR.4 零条件均值:\(E(u\mid x_1,\dots,x_k)=0\)——解释变量的任意函数都与 \(u\) 无关;有限样本无偏性需要它。
  • MLR.4′ 零均值零相关:\(E(u)=0\) 且 \(\mathrm{Cov}(x_j,u)=0\) 对所有 \(j\)——只要求每个 \(x_j\)(线性地)与 \(u\) 无关。一致性只需 MLR.4′。

易错点:相关即不一致

若误差与任何一个自变量相关(内生性),OLS 就既有偏又不一致——这是内生性最致命之处:加大样本量也救不回来。

MLR.4 与 MLR.4′ 的区别在于是否"正确设定了总体回归函数":MLR.4 下 \(\beta_0+\beta_1x_1+\dots+\beta_kx_k\) 就是 PRF(条件均值);只在 MLR.4′ 下,它未必是 PRF,但作为线性近似仍有用。

渐近偏误(不一致性的推导)

遗漏变量的渐近版本:真实模型含 \(x_1,x_2\),却只回归 \(x_1\),则

\[ \mathrm{plim}\,\tilde\beta_1=\beta_1+\beta_2\cdot\frac{\mathrm{Cov}(x_1,x_2)}{\mathrm{Var}(x_1)} \]

称右侧第二项为渐近偏误(inconsistency)。它与有限样本 OVB 公式 \(\beta_2\tilde\delta_1\) 完全平行,符号判断方法一致——区别只是这里用总体协方差,且偏误不随 \(n\) 消失。

渐近正态与大样本推断

精确推断的层级回顾:无偏需 MLR.1–4,BLUE 需 MLR.1–5,精确 \(t\)/\(F\) 需正态性 MLR.6。问题是 MLR.6 常不成立。好在:

定理 5.2(OLS 的渐近正态性)

在高斯–马尔可夫假设 MLR.1–MLR.5(不要求 MLR.6)下,适当标准化后的 OLS 估计量渐近服从正态分布,且 \(\hat\sigma^2\) 是 \(\sigma^2\) 的一致估计量。于是渐近 \(t\) 统计量、渐近置信区间照常构造,\(F\) 在大样本下近似服从 \(F\) 分布。

直觉与几个关键澄清:

  • 来源是中心极限定理:OLS 估计量是样本均值的(复杂)函数,无论 \(u\) 的总体分布如何,标准化后都趋于正态;
  • 常见错误:以为"样本量增大会让 \(u\) 的分布变得更正态"。总体分布是固定的,与 \(n\) 无关;变得正态的是 \(\hat\beta_j\) 的抽样分布,不是 \(u\) 本身;
  • 对误差分布唯一的实质要求是有限方差;
  • 仍需同方差 MLR.5:若 \(\mathrm{Var}(y\mid x)\) 非常数,无论 \(n\) 多大,通常的 \(t\) 统计量与置信区间都无效(需异方差稳健方法,见异方差性)。

拉格朗日乘数(LM)统计量

大样本下,检验 \(q\) 个排除性约束除了 \(F\),还有只需估约束模型的 LM 检验(适合不受约束模型难估的场合):

LM 检验步骤

检验最后 \(q\) 个变量系数是否全为零:

  1. 估约束模型(去掉那 \(q\) 个变量),保留残差 \(\tilde u\);
  2. 把 \(\tilde u\) 对全部 \(k\) 个自变量做辅助回归,得该回归的 \(R_u^2\);
  3. 计算 \(LM=n\,R_u^2\),与 \(\chi^2_q\) 的临界值比较,\(LM>c\) 则拒绝。

直觉:若被排除变量确实无关,约束模型的残差不该被它们解释,辅助回归的 \(R_u^2\) 应接近 0;\(nR_u^2\) 偏大就说明遗漏了有用变量。\(F\) 与 LM 在大样本下结论通常一致。

渐近有效性

定理 5.3(OLS 的渐近有效性)

在高斯–马尔可夫假设 MLR.1–MLR.5 下,OLS 在所有一致的、误差线性组合形式的估计量中具有最小的渐近方差——即 OLS 不仅是有限样本的 BLUE,在大样本中也是渐近有效的。

关键仍在同方差 MLR.5:若误差异方差,OLS 不再渐近有效,加权最小二乘(WLS)等可能有更小的渐近方差(见异方差性)。

速查表

概念 关键式 / 要点
一致性 \(\mathrm{plim}\,\hat\beta_j=\beta_j\),只需 MLR.4′
渐近偏误 \(\mathrm{plim}\,\tilde\beta_1=\beta_1+\beta_2\dfrac{\mathrm{Cov}(x_1,x_2)}{\mathrm{Var}(x_1)}\)
渐近正态 MLR.1–5 即可(定理 5.2),\(t\)/\(F\) 大样本下可用
渐近有效 MLR.1–5 下 OLS 渐近方差最小(定理 5.3),异方差时被 WLS 超越
LM 检验 \(LM=nR_u^2\sim\chi^2_q\)(约束模型残差对全部自变量辅助回归)

假设强度递进:MLR.1–4(无偏/一致)⊂ MLR.1–5(BLUE/渐近正态)⊂ MLR.1–6(CLM,精确 \(t\)/\(F\))。

易错点与考点提醒:

高频陷阱

  • 无偏 ≠ 一致:是两种不同的好性质,证明所需假设也不同;
  • 内生性(\(x\) 与 \(u\) 相关)\(\Rightarrow\) 有偏且不一致,增样本无救;
  • 大样本里别说"\(u\) 变正态了"——变正态的是抽样分布;
  • 渐近推断仍离不开同方差;异方差要换稳健标准误;
  • LM 用的是约束模型残差去做辅助回归,\(LM=nR_u^2\) 服从 \(\chi^2_q\)(自由度是约束个数 \(q\),不是 \(k\))。