🧠 Problem Set 8 — 知识总结（精华版）

1️⃣ Heteroscedastic Regression（异方差线性回归）

🔹 模型

Y=Xβ+ε,ε∼N(0,Σ), Σ 已知且可逆.Y=X\beta+\varepsilon,\quad \varepsilon\sim N(0,\Sigma),\ \Sigma\text{ 已知且可逆}.

🔹 Generalized Least Squares (GLS)

考虑最小化

Q(β)=(Y−Xβ)′Σ−1(Y−Xβ).Q(\beta)=(Y-X\beta)' \Sigma^{-1}(Y-X\beta).

与极大似然等价（因为正态分布）。

🔹 GLS 显式解

β^=(X′Σ−1X)−1X′Σ−1Y.\boxed{\hat\beta = (X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}Y.}

🔹 唯一性条件

X′Σ−1X 必须可逆⟺rank(X)=p.X'\Sigma^{-1}X\ \text{必须可逆} \quad \Longleftrightarrow \quad \mathrm{rank}(X)=p.

🔹 特殊情况：同方差（OLS）

若 Σ=σ2I\Sigma = \sigma^2 I，

β^GLS=β^OLS.\hat\beta_{GLS}=\hat\beta_{OLS}.

🔹 分布

β^∼N(β, (X′Σ−1X)−1).\hat\beta \sim N\big(\beta,\ (X'\Sigma^{-1}X)^{-1}\big).

🔹 性质

  • 无偏：E(β^)=βE(\hat\beta)=\beta
  • 方差：Var(β^)=(X′Σ−1X)−1\mathrm{Var}(\hat\beta)= (X'\Sigma^{-1}X)^{-1}
  • 二次风险：trace⁡((X′Σ−1X)−1)\operatorname{trace}((X'\Sigma^{-1}X)^{-1})

2️⃣ Linear Regression with Random Design（随机设计）

🔹 模型

Yi=Xi′β+εi.Y_i = X_i'\beta + \varepsilon_i.

假设：

  • XiX_i 随机（有密度 (g)）
  • 条件密度 fx(y)f_x(y)
  • εi\varepsilon_i 满足 E(εi)=0, cov(Xi,εi)=0E(\varepsilon_i)=0, \ \mathrm{cov}(X_i,\varepsilon_i)=0

⭐ 2.1 似然

L(β,f,g)=∏ifXi(yi−Xi′β)⋅g(Xi).L(\beta,f,g)=\prod_i f_{X_i}(y_i-X_i'\beta) \cdot g(X_i).

注意：对 (\beta) 极大化时，不依赖 g。

⭐ 2.2 高斯误差 + 独立性（经典回归）

若

εi∼N(0,σ2),εi⊥Xi,\varepsilon_i\sim N(0,\sigma^2),\quad \varepsilon_i\perp X_i,

则

fx(y)=12πσ2e−(y−x′β)2/(2σ2).f_x(y)=\frac1{\sqrt{2\pi\sigma^2}}e^{-(y-x'\beta)^2/(2\sigma^2)}.

🔹 MLE = OLS

β^=(X′X)−1X′Y.\hat\beta = (X'X)^{-1}X'Y.

🔹 条件正态分布

给定 (X)，

β^∣X∼N(β, σ2(X′X)−1).\hat\beta\mid X \sim N\big(\beta,\ \sigma^2 (X'X)^{-1}\big).

🔹 (\sigma^2) 的 MLE

σ^MLE2=1n∑(yi−Xi′β^)2.\hat\sigma^2_{MLE}=\frac1n \sum (y_i-X_i'\hat\beta)^2.

🔹 无偏估计

σ^2=1n−p∑(yi−Xi′β^)2.\hat\sigma^2=\frac1{n-p}\sum (y_i-X_i'\hat\beta)^2.

🔹 分布

(n−p)σ^2σ2∼χ,n−p2(给定 X).\frac{(n-p)\hat\sigma^2}{\sigma^2} \sim \chi^2_{,n-p}\quad (\text{给定 }X).

⭐ 2.3 Simple Linear Regression（带截距的简单回归）

设 (X_i=(1,X_i))，模型

Yi=a+bXi+εi.Y_i=a+bX_i+\varepsilon_i.

🔹 OLS

b^=SxySxx,a^=Yˉ−b^,Xˉ.\hat b = \frac{S_{xy}}{S_{xx}},\quad \hat a=\bar Y - \hat b,\bar X.

🔹 一致性

由 LLN，

Sxx/n→Var(X),Sxy/n→Var(X),b,S_{xx}/n\to \mathrm{Var}(X),\quad S_{xy}/n\to\mathrm{Var}(X),b,

因此 b^→b, a^→a\hat b\to b,\ \hat a\to a。

🔹 渐近正态性

n(β^−β)→dN(0, σ2Q−1),Q=E(XX′)\sqrt n(\hat\beta - \beta)\xrightarrow{d}N(0,\ \sigma^2 Q^{-1}), \quad Q=E(XX')

🔹 检验 (b>0)

取统计量：

T=b^se^(b^).T=\frac{\hat b}{\widehat{\mathrm{se}}(\hat b)}.

检验：

T>z1−α.T>z_{1-\alpha}.

为渐近水平 ≤ α 的单边检验。

3️⃣ Logistic Regression（逻辑回归）

🔹 模型（logit link）

log⁡P(Y=1∣X)P(Y=0∣X)=X′β.\log\frac{P(Y=1|X)}{P(Y=0|X)} = X'\beta.

🔹 条件概率

P(Y=1∣X)=eX′β1+eX′β,P(Y=0∣X)=11+eX′β.P(Y=1|X)=\frac{e^{X'\beta}}{1+e^{X'\beta}},\quad P(Y=0|X)=\frac1{1+e^{X'\beta}}.

🔹 似然

数据独立：

L(β,f)=∏i=1npiYi(1−pi)1−Yi⋅f(Xi),pi=p(Xi;β).L(\beta,f)=\prod_{i=1}^n p_i^{Y_i}(1-p_i)^{1-Y_i}\cdot f(X_i), \quad p_i=p(X_i;\beta).

🔹 MLE 不依赖 f

因为 f(Xi)f(X_i) 中没有 β\beta，所以求 MLE 时可直接忽略。

🔹 求解方式

无闭式解，通常用

  • Newton-Raphson
  • Fisher scoring
  • Iteratively Reweighted Least Squares (IRLS)

🌟 全作业核心关系图（极速复习）

1. GLS 是加权最小二乘 = 正态模型下的 MLE

2. 随机设计线性回归：OLS 仍是 MLE（若噪声高斯且独立）

3. Logistic 回归的 MLE 不依赖于 X 的密度

4. OLS 的估计量与 σ² 的估计量具有 χ² 分布性质

5. 渐近理论：一致性 + CLT → 正态极限 → 假设检验