简单回归模型¶

本页研究只含一个解释变量的回归 \(y=\beta_0+\beta_1 x+u\)：如何用普通最小二乘（OLS）从样本估出 \(\beta_0,\beta_1\)，估计量好在哪里（无偏、方差多大），以及度量单位与函数形式（对数、弹性）如何影响系数解释。它是整个回归分析的地基——多元回归不过是把这里的一切推广到多个解释变量。

核心结论速览

模型 \(y=\beta_0+\beta_1 x+u\)，记 \(\mathrm{SST}_x=\sum_i (x_i-\bar x)^2\)：

对象	结论
关键假设	零条件均值 \(E(u\mid x)=0\) \(\Rightarrow\) 总体回归函数 \(E(y\mid x)=\beta_0+\beta_1 x\)
OLS 斜率	\(\hat\beta_1=\dfrac{\sum_i (x_i-\bar x)(y_i-\bar y)}{\sum_i (x_i-\bar x)^2}=\dfrac{\widehat{\mathrm{Cov}}(x,y)}{\widehat{\mathrm{Var}}(x)}\)，\(\hat\beta_0=\bar y-\hat\beta_1\bar x\)
平方和分解	\(\mathrm{SST}=\mathrm{SSE}+\mathrm{SSR}\)，拟合优度 \(R^2=\dfrac{\mathrm{SSE}}{\mathrm{SST}}=1-\dfrac{\mathrm{SSR}}{\mathrm{SST}}\)
无偏性	SLR.1–4 \(\Rightarrow E(\hat\beta_0)=\beta_0,\ E(\hat\beta_1)=\beta_1\)
方差	再加同方差 SLR.5 \(\Rightarrow \mathrm{Var}(\hat\beta_1)=\dfrac{\sigma^2}{\mathrm{SST}_x}\)
函数形式	对数模型把"绝对变化"换成"百分比变化"：log-log 即弹性

简单线性回归模型¶

定义（简单线性回归模型，SLR）

用一个变量 \(x\) 解释另一个变量 \(y\)：

\[ y=\beta_0+\beta_1 x+u \]

\(y\)：因变量（dependent / explained variable，又称被解释变量、响应变量）；
\(x\)：自变量（independent / explanatory variable，又称解释变量、回归元 regressor）；
\(\beta_1\)：斜率参数，\(\beta_0\)：截距参数；
\(u\)：误差项 / 扰动项（error / disturbance），代表 \(x\) 以外一切影响 \(y\) 的因素。

只要其他因素不变（\(\Delta u=0\)），就有 \(\dfrac{\Delta y}{\Delta x}=\beta_1\)——斜率 \(\beta_1\) 度量了在控制住 \(u\) 中因素后 \(x\) 对 \(y\) 的（线性）影响。整个简单回归的"含金量"几乎都压在这一句的成立条件上。

零条件均值与总体回归函数¶

要让 \(\beta_1\) 有意义，必须约束误差与 \(x\) 的关系：

假设：零条件均值 \(E(u\mid x)=0\)

它可拆成两层理解：

\(E(u)=0\)：只要模型含截距 \(\beta_0\)，把误差均值设为 \(0\) 不损失一般性（非零均值可并入截距）；
\(E(u\mid x)=E(u)\)：均值独立——按 \(x\) 的不同取值把总体分组，每组中不可观测因素的平均值都相同（且等于总体均值 \(0\)）。这是实质性假设，\(x\) 不得携带关于 \(u\) 平均水平的信息。

对模型两边取给定 \(x\) 的条件期望，并代入 \(E(u\mid x)=0\)，得到总体回归函数（Population Regression Function, PRF）：

\[ E(y\mid x)=E(\beta_0+\beta_1 x+u\mid x)=\beta_0+\beta_1 x \]

也就是说，因变量的条件均值是 \(x\) 的线性函数。

图示理解（总体回归函数与条件分布）

在 \(x\)–\(y\) 平面上，对每个给定取值 \(x_1,x_2,x_3,\dots\)，\(y\) 并非取单一值，而是有一整个条件分布；这些分布各自以 \(E(y\mid x)=\beta_0+\beta_1 x\) 为中心上下散开。把所有条件均值点连起来，就是那条向上倾斜的直线——总体回归函数。个体观测 \(y\) 与该直线的垂直偏离，正是误差 \(u=y-E(y\mid x)\)。直观地说：回归线刻画的是"平均的 \(y\) 怎样随 \(x\) 移动"，而不是某个个体的 \(y\)。

普通最小二乘法（OLS）¶

给定一个容量为 \(n\) 的随机样本 \(\{(x_i,y_i):i=1,\dots,n\}\)，OLS 的思想是：选 \(\hat\beta_0,\hat\beta_1\) 使残差平方和最小。先固定记号：

拟合值：\(\hat y_i=\hat\beta_0+\hat\beta_1 x_i\)；
残差：\(\hat u_i=y_i-\hat y_i\)（注意 \(\hat u_i\) 是估计后可算的量，与总体误差 \(u_i\) 不同）；
残差平方和：\(\mathrm{SSR}=\sum_{i=1}^n \hat u_i^2\)。

定理（OLS 估计量）

最小化 \(\mathrm{SSR}\) 给出

\[ \hat\beta_1=\frac{\sum_{i=1}^n (x_i-\bar x)(y_i-\bar y)}{\sum_{i=1}^n (x_i-\bar x)^2}, \qquad \hat\beta_0=\bar y-\hat\beta_1\bar x \]

即斜率等于 \(x,y\) 的样本协方差除以 \(x\) 的样本方差（要求 \(\mathrm{SST}_x=\sum_i(x_i-\bar x)^2>0\)）。

推导（从一阶条件出发）

目标 \(\displaystyle Q(\hat\beta_0,\hat\beta_1)=\sum_{i=1}^n (y_i-\hat\beta_0-\hat\beta_1 x_i)^2\)。对两个参数求偏导并令其为零，得正规方程：

\[ \frac{\partial Q}{\partial \hat\beta_0}=-2\sum_i (y_i-\hat\beta_0-\hat\beta_1 x_i)=0,\qquad \frac{\partial Q}{\partial \hat\beta_1}=-2\sum_i x_i(y_i-\hat\beta_0-\hat\beta_1 x_i)=0 \]

第一式给出 \(\hat\beta_0=\bar y-\hat\beta_1\bar x\)。代入第二式并整理（利用 \(\sum_i(x_i-\bar x)=0\)）：

\[ \sum_i (x_i-\bar x)(y_i-\bar y)=\hat\beta_1\sum_i (x_i-\bar x)^2 \ \Longrightarrow\ \hat\beta_1=\frac{\sum_i (x_i-\bar x)(y_i-\bar y)}{\sum_i (x_i-\bar x)^2} \]

正规方程也表明：OLS 残差满足 \(\sum_i \hat u_i=0\) 且 \(\sum_i x_i\hat u_i=0\)——这两条"矩条件"对应了 OLS 的两条假设 \(E(u)=0\)、\(\mathrm{Cov}(x,u)=0\) 的样本类比。\(\blacksquare\)

矩估计视角

OLS 也可由 \(E(u)=0\) 与 \(\mathrm{Cov}(x,u)=E(xu)=0\) 两个总体矩条件，替换为样本矩并求解得到——这与最小化 SSR 殊途同归，是后面工具变量法（用其他矩条件）的思想起点。

OLS 的性质：平方和分解与拟合优度¶

把每个 \(y_i\) 拆成拟合值与残差 \(y_i=\hat y_i+\hat u_i\)，在样本中拟合值与残差不相关。定义三个平方和：

\[ \underbrace{\mathrm{SST}=\sum_i (y_i-\bar y)^2}_{\text{总波动}},\quad \underbrace{\mathrm{SSE}=\sum_i (\hat y_i-\bar y)^2}_{\text{被解释波动}},\quad \underbrace{\mathrm{SSR}=\sum_i \hat u_i^2}_{\text{残差波动}} \]

易错点：SSE 与 SSR 的命名

不同教材对 SSE / SSR 的命名正好相反。本课（Wooldridge）约定：SSE = Explained（解释），SSR = Residual（残差）。做题时认准"E=解释、R=残差"，不要与"SSE=误差平方和"的另一套约定混淆。

三者满足分解 \(\mathrm{SST}=\mathrm{SSE}+\mathrm{SSR}\)。据此定义判定系数：

\[ R^2=\frac{\mathrm{SSE}}{\mathrm{SST}}=1-\frac{\mathrm{SSR}}{\mathrm{SST}}\in[0,1] \]

即 \(y\) 的样本波动中被 \(x\) 解释的比例。

易错点：低 \(R^2\) 不等于回归没用

在社会科学中 \(R^2\) 偏低很正常。\(R^2\) 低并不意味着 OLS 估计无效——能否得到对 \(\beta_1\) 的正确（无偏）估计，并不直接取决于 \(R^2\) 的大小。\(R^2\) 衡量的是拟合 / 预测能力，而非因果估计的可靠性。

度量单位与函数形式¶

度量单位：改变 \(y\) 或 \(x\) 的单位，只会按比例改变系数与标准误，拟合优度 \(R^2\) 不变（它是无量纲的比值）。

函数形式：通过对 \(y\)、\(x\) 取对数，可以让线性模型表达"百分比变化 / 弹性"等更自然的经济关系。四种常见组合及其斜率解释如下（原讲义 TABLE 2.3，对模型求微分即得）：

模型	因变量	自变量	\(\beta_1\) 的解释
水平–水平（level-level）	\(y\)	\(x\)	\(\Delta y=\beta_1\,\Delta x\)
水平–对数（level-log）	\(y\)	\(\log(x)\)	\(\Delta y=(\beta_1/100)\,\%\Delta x\)
对数–水平（log-level）	\(\log(y)\)	\(x\)	\(\%\Delta y=(100\,\beta_1)\,\Delta x\)（半弹性）
对数–对数（log-log）	\(\log(y)\)	\(\log(x)\)	\(\%\Delta y=\beta_1\,\%\Delta x\)（弹性）

记忆要点：因变量取对数 → 结果读作"百分比变化"；自变量取对数 → 原因读作"百分比变化"；log-log 两边都取对数，\(\beta_1\) 就是常弹性。

什么叫"线性"回归

"线性"指对参数线性（\(\beta_0,\beta_1\) 以一次方出现），与 \(x\) 以什么形式进入无关。所以 \(y=\beta_0+\beta_1\log x+u\)、\(y=\beta_0+\beta_1 x^2+u\) 都还是线性回归；而 \(y=1/(\beta_0+\beta_1 x)+u\)、\(y=\beta_0+e^{\beta_1 x}+u\) 才是非线性模型。

OLS 估计量的期望与方差¶

要谈"估得准不准"，需要一组标准假设。简单回归的 SLR.1–SLR.5 如下：

假设 SLR.1–SLR.5

SLR.1 参数线性：总体模型为 \(y=\beta_0+\beta_1 x+u\)；
SLR.2 随机抽样：\(\{(x_i,y_i)\}_{i=1}^n\) 是来自总体的随机样本，故 \(y_i=\beta_0+\beta_1 x_i+u_i\)；
SLR.3 解释变量有波动：\(x_i\) 不全相等，即 \(\mathrm{SST}_x=\sum_i (x_i-\bar x)^2>0\)；
SLR.4 零条件均值：\(E(u_i\mid x_i)=0\)；
SLR.5 同方差：\(\mathrm{Var}(u\mid x)=\sigma^2\)（与 \(x\) 无关）。当 \(\mathrm{Var}(u\mid x)\) 依赖 \(x\) 时，称误差呈异方差。

定理 2.1（OLS 的无偏性）

在 SLR.1–SLR.4 下，

\[ E(\hat\beta_0)=\beta_0,\qquad E(\hat\beta_1)=\beta_1 \]

证明（以 \(\hat\beta_1\) 为例）

把 \(y_i=\beta_0+\beta_1 x_i+u_i\) 代入斜率公式，并记 \(\mathrm{SST}_x=\sum_i (x_i-\bar x)^2\)。利用 \(\sum_i(x_i-\bar x)=0\)：

\[ \hat\beta_1=\frac{\sum_i (x_i-\bar x)y_i}{\mathrm{SST}_x} =\frac{\sum_i (x_i-\bar x)(\beta_0+\beta_1 x_i+u_i)}{\mathrm{SST}_x} =\beta_1+\frac{\sum_i (x_i-\bar x)u_i}{\mathrm{SST}_x} \]

（其中 \(\sum_i(x_i-\bar x)\beta_0=0\)，\(\sum_i(x_i-\bar x)x_i=\mathrm{SST}_x\)。）在给定所有 \(x_i\) 条件下取期望，由 SLR.4 有 \(E(u_i\mid x)=0\)：

\[ E(\hat\beta_1\mid x)=\beta_1+\frac{\sum_i (x_i-\bar x)E(u_i\mid x)}{\mathrm{SST}_x}=\beta_1 \]

再由迭代期望得 \(E(\hat\beta_1)=\beta_1\)。\(\blacksquare\)

如何理解"无偏"

无偏不是说"这一次估得准"。某个具体样本里 \(\hat\beta_1\) 可能离 \(\beta_1\) 很远；无偏指的是在反复抽样下，估计值的平均恰好等于真值。

加上同方差 SLR.5，可进一步算出抽样方差：

定理 2.2（OLS 估计量的方差）

在 SLR.1–SLR.5 下，

\[ \mathrm{Var}(\hat\beta_1)=\frac{\sigma^2}{\mathrm{SST}_x}, \qquad \mathrm{Var}(\hat\beta_0)=\frac{\sigma^2\, n^{-1}\sum_i x_i^2}{\mathrm{SST}_x} \]

两条直觉：

误差方差 \(\sigma^2\) 越大 → 方差越大：影响 \(y\) 的不可观测因素越乱，越难估准 \(\beta_1\)。把 \(u\) 中与 \(x\) 相关的部分提出来当解释变量，就走向了多元回归；
\(x\) 的波动 \(\mathrm{SST}_x\) 越大 → 方差越小：\(x\) 取值越分散（样本量 \(n\) 越大同样使 \(\mathrm{SST}_x\) 增大），越容易识别 \(y\)–\(x\) 关系。

误差方差 \(\sigma^2\) 本身未知，用残差估计：

定理 2.3（\(\sigma^2\) 的无偏估计）

在 SLR.1–SLR.5 下，\(\hat\sigma^2=\dfrac{\mathrm{SSR}}{n-2}\) 满足 \(E(\hat\sigma^2)=\sigma^2\)（分母 \(n-2\) 扣掉了估两个参数用掉的自由度）。

其平方根 \(\hat\sigma=\sqrt{\hat\sigma^2}\) 称为回归标准误（SER）。把 \(\hat\sigma\) 代入方差公式即得系数的标准误：

\[ \mathrm{se}(\hat\beta_1)=\frac{\hat\sigma}{\sqrt{\mathrm{SST}_x}} \]

它衡量系数估计的精度，是后面做 \(t\) 检验与置信区间的基石。

速查表¶

核心公式：

量	公式
斜率	\(\hat\beta_1=\dfrac{\sum_i (x_i-\bar x)(y_i-\bar y)}{\mathrm{SST}_x}\)
截距	\(\hat\beta_0=\bar y-\hat\beta_1\bar x\)
拟合优度	\(R^2=\dfrac{\mathrm{SSE}}{\mathrm{SST}}=1-\dfrac{\mathrm{SSR}}{\mathrm{SST}}\)
斜率方差	\(\mathrm{Var}(\hat\beta_1)=\dfrac{\sigma^2}{\mathrm{SST}_x}\)
误差方差估计	\(\hat\sigma^2=\dfrac{\mathrm{SSR}}{n-2}\)
斜率标准误	\(\mathrm{se}(\hat\beta_1)=\dfrac{\hat\sigma}{\sqrt{\mathrm{SST}_x}}\)

假设 → 结论链：

用到的假设	得到的结论
SLR.1–4	\(\hat\beta_0,\hat\beta_1\) 无偏
SLR.1–5	方差公式成立、\(\hat\sigma^2\) 无偏

函数形式速记：因变量取 log → 读"%变化"；自变量取 log → 原因读"%变化"；log-log = 弹性，log-level = 半弹性。

易错点与考点提醒：

高频陷阱

SSE = 解释平方和、SSR = 残差平方和（本课约定），切勿反用；
\(u_i\)（总体误差）≠ \(\hat u_i\)（样本残差）；无偏性只需 SLR.1–4，方差公式才需要同方差 SLR.5；
低 \(R^2\) 不等于估计无效；改变度量单位 \(R^2\) 不变；
零条件均值 \(E(u\mid x)=0\) 是简单回归一切美好性质的来源，一旦 \(x\) 与 \(u\) 相关（内生性），无偏性立即崩塌。