一、简单线性回归
回归系数 β̂₂
β̂₂ = Σ(Xᵢ−X̄)(Yᵢ−Ȳ) / Σ(Xᵢ−X̄)²
分子是X和Y的协方差，分母是X的方差
截距 β̂₁
β̂₁ = Ȳ − β̂₂X̄
回归线一定经过（X̄, Ȳ）
残差标准差 σ̂²
σ̂² = Σeᵢ² / (n − 2)
分母n−2是因为估计了2个参数（失去2个自由度）
SE(β̂₂)
SE(β̂₂) = σ̂ / √[Σ(Xᵢ−X̄)²]
X变异越大 → SE越小 → 估计越精确
二、R²、调整R² 和 F检验
R²（拟合优度）
R² = ESS/TSS = 1 − RSS/TSS
TSS = ESS + RSS
TSS = Σ(Yᵢ−Ȳ)², ESS = Σ(Ŷᵢ−Ȳ)², RSS = Σeᵢ²
TSS = Σ(Yᵢ−Ȳ)², ESS = Σ(Ŷᵢ−Ȳ)², RSS = Σeᵢ²
加变量R²永不下降
Adjusted R²
R̄² = 1 − [RSS/(n−k−1)] / [TSS/(n−1)]
惩罚多余变量。加无关变量会下降。
n=样本量, k=解释变量个数
F统计量
F = (ESS/k) / (RSS/(n−k−1))
H₀: 所有斜率同时为0
若F很大且p<0.05 → 模型整体显著
若F很大且p<0.05 → 模型整体显著
t统计量
t = (β̂ₖ − βₖ_H₀) / SE(β̂ₖ)
通常H₀下βₖ=0，所以 t = β̂ₖ/SE(β̂ₖ)
三、模型选择准则
AIC · 赤池准则
AIC = ln(RSS/n) + 2(k+1)/n
越小越好 ↓
SC · 施瓦茨准则
SC = ln(RSS/n) + ln(n)(k+1)/n
越小越好 ↓，惩罚比AIC更重
VIF · 方差膨胀因子
VIF(Xⱼ) = 1 / (1 − Rⱼ²)
Rⱼ² = 以Xⱼ为因变量对其他X回归的R²
VIF > 10 → 严重共线性
VIF > 10 → 严重共线性
Ramsey's RESET
F = [(R²_aux − R²)/m] / [(1−R²_aux)/(n−k−m−1)]
m = 新增的Ŷ², Ŷ³项数。显著 → 设定有误。
四、异方差与序列相关检验
White's Test · 异方差
W = n × R²_aux
辅助回归：e²ᵢ 对 原变量+平方+交叉项
W ~ χ²(df), df = k(k+3)/2
H₀: 同方差
W ~ χ²(df), df = k(k+3)/2
H₀: 同方差
Breusch-Pagan · 异方差
BP = n × R²_aux
辅助回归：e²ᵢ 对 原变量
BP ~ χ²(k), H₀: 同方差
BP ~ χ²(k), H₀: 同方差
Durbin-Watson · 序列相关
d = Σ(eₜ−eₜ₋₁)² / Σeₜ²
d ≈ 2(1−ρ̂)
d≈0 → 强正相关, d≈2 → 无, d≈4 → 强负相关
只能检验一阶AR(1)
d≈0 → 强正相关, d≈2 → 无, d≈4 → 强负相关
只能检验一阶AR(1)
Breusch-Godfrey · 序列相关
BG = n × R²_aux
辅助回归：eₜ 对 原X + eₜ₋₁ + ... + eₜ₋ₚ
BG ~ χ²(p), 可检验任意阶
BG ~ χ²(p), 可检验任意阶
五、单比例检验（Mock Exam用）
z统计量（比例检验）
z = (p̂ − p₀) / √[p₀(1−p₀)/n]
H₀: p = p₀
p̂ = 样本比例, n = 样本量
p̂ = 样本比例, n = 样本量
置信区间（比例）
p̂ ± z_α/2 × √[p̂(1−p̂)/n]
95% CI: z_α/2 = 1.96
六、关键临界值速查
| α | z双侧 | z单侧 | t(60)双侧 | χ²(4) | χ²(9) |
|---|---|---|---|---|---|
| 10% | ±1.645 | 1.282 | ±1.671 | 7.78 | 14.68 |
| 5% | ±1.960 | 1.645 | ±2.000 | 9.49 | 16.92 |
| 1% | ±2.576 | 2.326 | ±2.660 | 13.28 | 21.67 |