本章內容
2.1 模型與假設2.2 模型配適度2.3 統計推論2.4 模型選擇2.5 常見陷阱2.6 參考資料 線性迴歸是最古老、也最常被低估的模型。它簡單到可以用一行程式配適，卻同時牽涉到估計、檢定、區間推論與模型選擇等統計學的核心問題。許多更複雜的方法，例如正則化、廣義線性模型，甚至神經網路的最後一層，本質上都是在線性迴歸的基礎上延伸出來的。
這一章依序回答四個問題：模型怎麼估計、估計得好不好、結論有多可信、該放進哪些變數。最後整理實務上最容易誤判的幾個陷阱，尤其是「如何解讀迴歸係數」。
2.1 模型與假設Model and Assumptions 最小平方估計
多元線性迴歸假設反應變數 y y y p p p
y = β 0 + β 1 x 1 + ⋯ + β p x p + ε
y = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p + \varepsilon
y = β 0 + β 1 x 1 + ⋯ + β p x p + ε 其中 ε \varepsilon ε n n n 最小平方估計 （Least Squares Estimates, LSE）：選出讓殘差平方和 （Residual Sum of Squares, RSS）最小的係數，
R S S = ∑ i = 1 n ( y i − y ^ i ) 2 , β ^ = arg min β R S S = ( X ⊤ X ) − 1 X ⊤ y
\mathrm{RSS} = \sum_{i=1}^{n} \left( y_i - \hat{y}_i \right)^2, \qquad \hat{\boldsymbol\beta} = \arg\min_{\boldsymbol\beta} \mathrm{RSS} = (\mathbf{X}^\top \mathbf{X})^{-1} \mathbf{X}^\top \mathbf{y}
RSS = i = 1 ∑ n ( y i − y ^ i ) 2 , β ^ = arg β min RSS = ( X ⊤ X ) − 1 X ⊤ y 其中 X \mathbf{X} X n × ( p + 1 ) n \times (p+1) n × ( p + 1 ) β ^ 1 = ∑ i ( x i − x ˉ ) ( y i − y ˉ ) / ∑ i ( x i − x ˉ ) 2 \hat\beta_1 = \sum_i (x_i - \bar x)(y_i - \bar y) / \sum_i (x_i - \bar x)^2 β ^ 1 = ∑ i ( x i − x ˉ ) ( y i − y ˉ ) / ∑ i ( x i − x ˉ ) 2 β ^ 0 = y ˉ − β ^ 1 x ˉ \hat\beta_0 = \bar y - \hat\beta_1 \bar x β ^ 0 = y ˉ − β ^ 1 x ˉ
RSS 代表模型「沒有解釋到」的變異。對於巢狀模型（nested models），多加入一個變數，最小平方解至少可以把新係數設為 0 而回到原模型，因此 RSS 只會持平或下降，不會上升 。這個性質正是後面模型選擇需要額外準則的原因。
最小平方與最大概似
如果進一步假設誤差 ε i ∼ iid N ( 0 , σ 2 ) \varepsilon_i \overset{\text{iid}}{\sim} N(0, \sigma^2) ε i ∼ iid N ( 0 , σ 2 )
log L ( β , σ 2 ) = − n 2 log ( 2 π σ 2 ) − R S S ( β ) 2 σ 2
\log L(\boldsymbol\beta, \sigma^2) = -\frac{n}{2}\log(2\pi\sigma^2) - \frac{\mathrm{RSS}(\boldsymbol\beta)}{2\sigma^2}
log L ( β , σ 2 ) = − 2 n log ( 2 π σ 2 ) − 2 σ 2 RSS ( β ) 對 β \boldsymbol\beta β 最大概似估計 （Maximum Likelihood Estimate, MLE）。
常見誤區Common pitfall
最小化 RSS 等於 MLE，只在誤差服從常態分布時成立 。若誤差是拉普拉斯分布，MLE 對應的是最小化絕對誤差和；若誤差有厚尾，LSE 仍然可以計算，但不再是最有效率的估計。另一方面，即使沒有常態假設，只要誤差平均為 0、彼此不相關且變異數相同，高斯－馬可夫定理（Gauss–Markov theorem）保證 LSE 是最佳線性不偏估計量（BLUE）。
四個模型假設
線性迴歸的估計與推論建立在以下假設上。以簡單線性迴歸為例：
假設
數學表述
違反時的影響
線性（linearity）
μ ( y ∣ x ) = β 0 + β 1 x \mu(y \mid x) = \beta_0 + \beta_1 x μ ( y ∣ x ) = β 0 + β 1 x 係數有偏誤，預測系統性偏離
獨立（independence）
各筆誤差 ε i \varepsilon_i ε i
標準誤低估，區間過窄
常態（normality）
y ∣ x ∼ N ( β 0 + β 1 x , σ 2 ) y \mid x \sim N(\beta_0 + \beta_1 x, \sigma^2) y ∣ x ∼ N ( β 0 + β 1 x , σ 2 ) 小樣本下 t t t F F F
變異數相同（equal variance）
Var ( y ∣ x ) = σ 2 \operatorname{Var}(y \mid x) = \sigma^2 Var ( y ∣ x ) = σ 2 x x x 標準誤錯誤，區間與檢定失準
前兩個假設影響最大：線性錯了，模型本身就錯；獨立性錯了（例如時間序列、同一位客戶的重複量測），所有的標準誤都會過於樂觀。常態性在樣本數大時，因中央極限定理而相對不那麼關鍵。
2.2 模型配適度Goodness of Fit 殘差標準誤
殘差標準誤 （Residual Standard Error, RSE）估計的是誤差項的標準差 σ \sigma σ
R S E = σ ^ = R S S n − p − 1
\mathrm{RSE} = \hat\sigma = \sqrt{\frac{\mathrm{RSS}}{n - p - 1}}
RSE = σ ^ = n − p − 1 RSS 分母是殘差的自由度：n n n p p p p = 1 p = 1 p = 1 n − 2 n - 2 n − 2 y y y
與 RSS 不同，RSE 不是單調的 ：加入一個幾乎沒有解釋力的變數時，RSS 只下降一點點，分母卻少了 1，RSE 反而可能上升。
決定係數 R 2 R^2 R 2 R 2 R^2 R 2
R 2 = T S S − R S S T S S = 1 − R S S T S S , T S S = ∑ i = 1 n ( y i − y ˉ ) 2
R^2 = \frac{\mathrm{TSS} - \mathrm{RSS}}{\mathrm{TSS}} = 1 - \frac{\mathrm{RSS}}{\mathrm{TSS}}, \qquad \mathrm{TSS} = \sum_{i=1}^{n} (y_i - \bar y)^2
R 2 = TSS TSS − RSS = 1 − TSS RSS , TSS = i = 1 ∑ n ( y i − y ˉ ) 2 R 2 R^2 R 2 R 2 R^2 R 2 x x x y y y y y y y ^ \hat y y ^
由於 TSS 與模型無關、RSS 隨變數增加而不增，R 2 R^2 R 2 R 2 R^2 R 2 調整後 R 2 R^2 R 2 （adjusted R 2 R^2 R 2
R adj 2 = 1 − R S S / ( n − p − 1 ) T S S / ( n − 1 )
R^2_{\text{adj}} = 1 - \frac{\mathrm{RSS} / (n - p - 1)}{\mathrm{TSS} / (n - 1)}
R adj 2 = 1 − TSS / ( n − 1 ) RSS / ( n − p − 1 ) 加入無用的變數會讓 R adj 2 R^2_{\text{adj}} R adj 2
F F F 想知道「模型整體是否有解釋力」，檢定的是 H 0 : β 1 = ⋯ = β p = 0 H_0: \beta_1 = \cdots = \beta_p = 0 H 0 : β 1 = ⋯ = β p = 0
F = ( T S S − R S S ) / p R S S / ( n − p − 1 )
F = \frac{(\mathrm{TSS} - \mathrm{RSS}) / p}{\mathrm{RSS} / (n - p - 1)}
F = RSS / ( n − p − 1 ) ( TSS − RSS ) / p 分子是「每個自由度解釋的變異」，分母是「每個自由度未解釋的變異」。注意分子的自由度是 p p p β 0 \beta_0 β 0
更一般的偏 F F F （partial F F F R S S 0 \mathrm{RSS}_0 RSS 0 q q q R S S \mathrm{RSS} RSS
F = ( R S S 0 − R S S ) / q R S S / ( n − p − 1 )
F = \frac{(\mathrm{RSS}_0 - \mathrm{RSS}) / q}{\mathrm{RSS} / (n - p - 1)}
F = RSS / ( n − p − 1 ) ( RSS 0 − RSS ) / q 分子是「新增變數多解釋了多少變異」，在 H 0 H_0 H 0 F q , n − p − 1 F_{q,\, n-p-1} F q , n − p − 1
t t t F F F summary(lm()) 為每個係數報告一個 t t t q = 1 q = 1 q = 1 F F F t 2 = F t^2 = F t 2 = F
兩者的差別出現在類別變數 。一個有 K K K K − 1 K - 1 K − 1 lm() 的 t t t K − 1 K - 1 K − 1 F F F
fit <- lm(y ~ x1 + region, data = df)
summary(fit) # 每個係數（每個虛擬變數）各自的 t 檢定
car::Anova(fit) # 每個變數一個 F 檢定，類別變數整體檢定（預設 Type II）
fit0 <- lm(y ~ x1, data = df)
anova(fit0, fit) # 兩個巢狀模型的偏 F 檢定
2.3 統計推論Inference p p p p p p 假設虛無假設 H 0 H_0 H 0 。p p p H 0 H_0 H 0
常見誤區Common pitfall
p p p
它不是 H 0 H_0 H 0 ，也不是效果大小。樣本數很大時，微不足道的效果也會得到極小的 p p p 多重檢定 ：同時做 20 個 α = 0.05 \alpha = 0.05 α = 0.05 選擇後推論 ：先用資料挑出變數，再對同一份資料報告 p p p
信賴區間與預測區間
在簡單線性迴歸中，給定新的 x 0 x_0 x 0 y ^ 0 = β ^ 0 + β ^ 1 x 0 \hat y_0 = \hat\beta_0 + \hat\beta_1 x_0 y ^ 0 = β ^ 0 + β ^ 1 x 0
信賴區間 （confidence interval）：x = x 0 x = x_0 x = x 0 y y y 平均值 μ ( y ∣ x 0 ) \mu(y \mid x_0) μ ( y ∣ x 0 ) 預測區間 （prediction interval）：x = x 0 x = x_0 x = x 0 下一筆個別觀察值 y 0 y_0 y 0
信賴區間： y ^ 0 ± t n − 2 , 0.975 ⋅ σ ^ 1 n + ( x 0 − x ˉ ) 2 ∑ i ( x i − x ˉ ) 2 預測區間： y ^ 0 ± t n − 2 , 0.975 ⋅ σ ^ 1 + 1 n + ( x 0 − x ˉ ) 2 ∑ i ( x i − x ˉ ) 2
\begin{aligned}
\text{信賴區間：} \quad & \hat y_0 \pm t_{n-2,\,0.975} \cdot \hat\sigma \sqrt{\frac{1}{n} + \frac{(x_0 - \bar x)^2}{\sum_{i}(x_i - \bar x)^2}} \\
\text{預測區間：} \quad & \hat y_0 \pm t_{n-2,\,0.975} \cdot \hat\sigma \sqrt{1 + \frac{1}{n} + \frac{(x_0 - \bar x)^2}{\sum_{i}(x_i - \bar x)^2}}
\end{aligned}
信賴區間： 預測區間： y ^ 0 ± t n − 2 , 0.975 ⋅ σ ^ n 1 + ∑ i ( x i − x ˉ ) 2 ( x 0 − x ˉ ) 2 y ^ 0 ± t n − 2 , 0.975 ⋅ σ ^ 1 + n 1 + ∑ i ( x i − x ˉ ) 2 ( x 0 − x ˉ ) 2 95% 區間的 t t t ε 0 \varepsilon_0 ε 0 E [ ( y 0 − y ^ 0 ) 2 ] = σ 2 + Var ( y ^ 0 ) E[(y_0 - \hat y_0)^2] = \sigma^2 + \operatorname{Var}(\hat y_0) E [( y 0 − y ^ 0 ) 2 ] = σ 2 + Var ( y ^ 0 )
比較
信賴區間
預測區間
對象
平均反應 μ ( y ∣ x 0 ) \mu(y \mid x_0) μ ( y ∣ x 0 )
單一新觀察值 y 0 y_0 y 0
n → ∞ n \to \infty n → ∞ 寬度趨近 0
寬度趨近 ± 1.96 σ \pm 1.96\sigma ± 1.96 σ
x 0 x_0 x 0 x ˉ \bar x x ˉ 變寬
變寬
兩種區間都在 x 0 = x ˉ x_0 = \bar x x 0 = x ˉ
2.4 模型選擇Model Selection 當候選變數很多時，需要決定哪些變數該放進模型。前面已經說明，訓練資料上的 RSS 與 R 2 R^2 R 2
間接估計測試誤差 ：在訓練誤差上加一個隨模型大小增加的懲罰項，例如 C p C_p C p R 2 R^2 R 2 直接估計測試誤差 ：使用驗證集或交叉驗證，詳見第 5 章 。
C p C_p C p 設模型含 d d d σ ^ 2 \hat\sigma^2 σ ^ 2 σ 2 = Var ( ε ) \sigma^2 = \operatorname{Var}(\varepsilon) σ 2 = Var ( ε ) R S E 2 \mathrm{RSE}^2 RSE 2
Mallows' C p C_p C p ：
C p = 1 n ( R S S + 2 d σ ^ 2 )
C_p = \frac{1}{n}\left( \mathrm{RSS} + 2 d \hat\sigma^2 \right)
C p = n 1 ( RSS + 2 d σ ^ 2 ) 訓練 RSS 會低估測試誤差，2 d σ ^ 2 2d\hat\sigma^2 2 d σ ^ 2 σ ^ 2 \hat\sigma^2 σ ^ 2 σ 2 \sigma^2 σ 2 C p C_p C p C p C_p C p
AIC （Akaike Information Criterion）適用於任何以最大概似法配適的模型，包括邏輯斯迴歸等分類模型：
A I C = − 2 log L + 2 d
\mathrm{AIC} = -2 \log L + 2d
AIC = − 2 log L + 2 d AIC 的理論基礎是估計模型與真實資料生成分布之間的 Kullback–Leibler 資訊損失。單一的 AIC 值沒有絕對意義，只有比較同一份資料上不同模型的 AIC 差異才有意義。對於誤差為常態的線性模型，AIC 與 C p C_p C p
BIC （Bayesian Information Criterion）由貝氏模型比較推導而來，近似於各模型的後驗機率：
B I C = 1 n ( R S S + log ( n ) d σ ^ 2 )
\mathrm{BIC} = \frac{1}{n}\left( \mathrm{RSS} + \log(n) \, d \hat\sigma^2 \right)
BIC = n 1 ( RSS + log ( n ) d σ ^ 2 ) 一般形式為 − 2 log L + d log n -2\log L + d \log n − 2 log L + d log n n > 7 n > 7 n > 7 log n > 2 \log n > 2 log n > 2 C p C_p C p 傾向選出較小的模型 。
準則
每個參數的懲罰
傾向
適用範圍
C p C_p C p 2 σ ^ 2 2\hat\sigma^2 2 σ ^ 2 預測導向
線性迴歸
AIC
2 2 2 預測導向
所有概似模型
BIC
log n \log n log n 較小、較精簡的模型
所有概似模型
調整後 R 2 R^2 R 2
透過自由度
較大的模型
線性迴歸
補充Note
AIC 與 BIC 的目標不同。AIC 追求預測表現，樣本數增加時仍可能選入多餘的變數；BIC 追求找出「真實模型」，若真實模型在候選集合中，樣本數夠大時 BIC 會以趨近 1 的機率選中它。預測任務多偏好 AIC 或交叉驗證，重視解釋與精簡時則常用 BIC。
最佳子集選擇與前向逐步選擇
最佳子集選擇 （best subset selection）窮舉所有變數組合：
對每個 k = 1 , … , p k = 1, \ldots, p k = 1 , … , p ( p k ) \binom{p}{k} ( k p ) k k k M k \mathcal{M}_k M k
在 M 0 , … , M p \mathcal{M}_0, \ldots, \mathcal{M}_p M 0 , … , M p C p C_p C p R 2 R^2 R 2
第 1 步在固定模型大小下比較，用 RSS 沒有問題；第 2 步跨越不同大小，才需要懲罰項。總共要配適 2 p 2^p 2 p p p p
前向逐步選擇 （forward stepwise selection）是貪婪的替代方案：從只有截距的模型開始，每一步在剩下的變數中加入讓 RSS 下降最多的那一個，產生一串巢狀模型，再以 C p C_p C p 1 + p ( p + 1 ) / 2 1 + p(p+1)/2 1 + p ( p + 1 ) /2 不保證找到全域最佳 ：最好的兩變數模型不一定包含最好的單變數模型裡的那個變數。
在 R 中，leaps::regsubsets() 可以一次完成這兩種搜尋；bestglm::bestglm() 則能對廣義線性模型以 AIC、BIC 或交叉驗證做最佳子集選擇。以 ISLR 的 Hitters 資料（19 個預測變數）為例：
library(leaps)
Hitters <- na.omit(ISLR::Hitters)
fit <- regsubsets(Salary ~ ., data = Hitters, nvmax = 19,
method = "exhaustive") # 或 method = "forward"
s <- summary(fit)
which.min(s$cp); which.min(s$bic); which.max(s$adjr2)
coef(fit, which.min(s$bic)) # BIC 選出的模型係數
當 p > n p > n p > n
變數個數超過樣本數時，X ⊤ X \mathbf{X}^\top \mathbf{X} X ⊤ X σ ^ 2 \hat\sigma^2 σ ^ 2 C p C_p C p 第 3 章 ）、主成分等降維方法（見第 4 章 ），並以交叉驗證選擇模型。
2.5 常見陷阱Common Pitfalls 遺漏變數與代理變數
在只有少數預測變數的迴歸中，某個變數可能只是代理變數 （surrogate / proxy），實際上替一個沒有放進模型的重要變數承擔了效果。例如以冰淇淋銷量預測溺水人數，會得到顯著的正係數，但真正的共同原因是氣溫。
這種現象稱為遺漏變數偏誤 （omitted variable bias）：若真實模型包含 x 1 x_1 x 1 x 2 x_2 x 2 x 1 x_1 x 1 β ^ 1 \hat\beta_1 β ^ 1 β 1 + β 2 δ \beta_1 + \beta_2 \delta β 1 + β 2 δ δ \delta δ x 2 x_2 x 2 x 1 x_1 x 1 y y y x 1 x_1 x 1
反向迴歸
迴歸是不對稱的：y y y x x x x x x y y y r s y / s x r \, s_y / s_x r s y / s x r s x / s y r \, s_x / s_y r s x / s y ∣ r ∣ = 1 |r| = 1 ∣ r ∣ = 1 y y y lm(y ~ x)，不要用 lm(x ~ y) 再反推。
異質變異
異質變異 （heteroscedasticity）指誤差變異數隨 x x x 殘差圖 ：橫軸為配適值 y ^ \hat y y ^
此時 β ^ \hat{\boldsymbol\beta} β ^ p p p y y y log y \log y log y y \sqrt{y} y
殘差圖也能順便檢查非線性：若殘差呈現 U 字型等系統性的形狀，表示線性假設不成立。
常態性檢查
以殘差的常態 Q-Q 圖檢查常態假設：點大致落在對角線上即可。尾端明顯偏離時，小樣本下的 t t t F F F
如何解讀係數
常見誤區Common pitfall
不能比較同一個變數在兩個不同模型中的 β \beta β β j \beta_j β j 這個模型中其他變數固定不變 時，x j x_j x j y y y
也不能用 β \beta β 係數大小取決於變數的單位，而且只反映邊際效果；當變數彼此高度相關時，一個重要的變數也可能因為共線性而不顯著。
交互作用與非線性
若 x 1 x_1 x 1 y y y x 2 x_2 x 2 交互作用項 （interaction term）x 1 x 2 x_1 x_2 x 1 x 2
y = β 0 + β 1 x 1 + β 2 x 2 + β 3 x 1 x 2 + ε
y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \beta_3 x_1 x_2 + \varepsilon
y = β 0 + β 1 x 1 + β 2 x 2 + β 3 x 1 x 2 + ε 此時 x 1 x_1 x 1 β 1 + β 3 x 2 \beta_1 + \beta_3 x_2 β 1 + β 3 x 2
預測變數與 y y y x 2 x^2 x 2 log x \log x log x
共線性與 VIF
係數估計量的共變異數矩陣為
Var ( β ^ ) = σ 2 ( X ⊤ X ) − 1
\operatorname{Var}(\hat{\boldsymbol\beta}) = \sigma^2 (\mathbf{X}^\top \mathbf{X})^{-1}
Var ( β ^ ) = σ 2 ( X ⊤ X ) − 1 當部分預測變數高度相關，X ⊤ X \mathbf{X}^\top \mathbf{X} X ⊤ X 對角線元素會變得很大 ，對應係數的標準誤 se ( β ^ j ) \operatorname{se}(\hat\beta_j) se ( β ^ j )
Var ( β ^ j ) = σ 2 ( 1 − R j 2 ) ∑ i ( x i j − x ˉ j ) 2
\operatorname{Var}(\hat\beta_j) = \frac{\sigma^2}{(1 - R_j^2) \sum_{i} (x_{ij} - \bar x_j)^2}
Var ( β ^ j ) = ( 1 − R j 2 ) ∑ i ( x ij − x ˉ j ) 2 σ 2 其中 R j 2 R_j^2 R j 2 x j x_j x j R 2 R^2 R 2 1 / ( 1 − R j 2 ) 1/(1 - R_j^2) 1/ ( 1 − R j 2 ) 變異數膨脹因子 （Variance Inflation Factor, VIF）：
V I F j = 1 1 − R j 2
\mathrm{VIF}_j = \frac{1}{1 - R_j^2}
VIF j = 1 − R j 2 1 VIF 等於 1 表示 x j x_j x j 第 3 章 ），或先做主成分分析。
2.6 參考資料References
James, Witten, Hastie & Tibshirani, An Introduction to Statistical Learning （ISLR），Springer, 2013，第 3、6 章。
Hastie, Tibshirani & Friedman, The Elements of Statistical Learning （ESL），2nd ed., Springer, 2009，第 3、7 章。
Fox, Applied Regression Analysis and Generalized Linear Models , 3rd ed., SAGE, 2016。
Mallows, "Some Comments on C p C_p C p Technometrics , 1973。
Akaike, "A New Look at the Statistical Model Identification", IEEE Transactions on Automatic Control , 1974。
Schwarz, "Estimating the Dimension of a Model", The Annals of Statistics , 1978。
Wasserstein & Lazar, "The ASA Statement on p-Values: Context, Process, and Purpose", The American Statistician , 2016。