神經網路基礎Neural Network Fundamentals

神經網路由許多「線性組合加上非線性轉換」的層堆疊而成。每一層本身都很簡單，但層層疊加之後，就能表達非常複雜的函數。訓練神經網路的流程也只有三個步驟反覆進行：前向傳播（forward propagation）計算預測與損失，反向傳播（backpropagation）計算每個參數的梯度，再用梯度下降更新參數。

這一章整理這個流程中最基礎的元件：符號約定、激勵函數、交叉熵損失、反向傳播的推導，以及常被忽略卻非常關鍵的權重初始化。更進階的最佳化演算法與訓練技巧，分別留到第 8 章與第 9 章。

7.1符號與網路架構Notation & Architecture

符號約定

本書以 $a_j^{[l](i)}$ 表示第 $i$ 筆樣本在第 $l$ 層第 $j$ 個神經元的激勵值（activation）：

$n^{[l]}$ 是第 $l$ 層的神經元數。輸入層記為第 0 層，$\mathbf{a}^{[0]} = \mathbf{x}$，不計入層數：一個有一層隱藏層加上輸出層的網路，稱為 2 層網路，$L = 2$。

前向傳播

每一層先做線性組合，得到預激勵值（pre-activation）$\mathbf{z}^{[l]}$，再經過激勵函數 $g^{[l]}$ 得到激勵值 $\mathbf{a}^{[l]}$，作為下一層的輸入：

其中權重矩陣 $W^{[l]}$ 的形狀是 $n^{[l]} \times n^{[l-1]}$，偏權值 $\mathbf{b}^{[l]}$ 是長度 $n^{[l]}$ 的向量。寫成單一神經元就是 $z_j^{[l]} = \sum_k w_{jk}^{[l]} a_k^{[l-1]} + b_j^{[l]}$。從第 1 層一路算到第 $L$ 層，最後的 $\mathbf{a}^{[L]} = \hat{\mathbf{y}}$ 就是網路的預測，再與標籤比較得到損失。

實作時會把 $N$ 筆樣本排成矩陣的欄，一次算完整批資料，偏權值則以廣播（broadcasting）加到每一欄：

import numpy as np

def forward(X, params, L):
    """X 的形狀為 (n0, N)，每一欄是一筆樣本。"""
    A = X
    for l in range(1, L + 1):
        Z = params[f"W{l}"] @ A + params[f"b{l}"]          # (n_l, N)
        A = np.maximum(0, Z) if l < L else 1 / (1 + np.exp(-Z))
    return A                                               # 隱藏層用 ReLU，輸出層用 sigmoid

7.2激勵函數Activation Functions

為什麼需要非線性

激勵函數的目的是提供非線性轉換。如果拿掉激勵函數（或使用線性函數），兩層網路會化簡成

仍然只是一個線性函數。無論疊多少層，結果都和單層線性模型一樣，深度完全沒有意義。加入非線性激勵函數，網路才能逼近複雜的非線性關係。

常見的激勵函數

ReLU 在 $z = 0$ 不可微，實作上通常直接取導數為 0。Leaky ReLU 的 $\alpha$ 是一個小的正數（例如 0.01），必須小於 1，$\max(\alpha z, z)$ 的寫法才成立。

飽和與梯度消失

sigmoid 與 tanh 都是 S 形曲線，兩端趨於平坦。sigmoid 的導數最大只有 0.25（在 $z = 0$），tanh 的導數最大為 1（同樣在 $z = 0$），但只要 $\lvert z \rvert$ 稍大，導數就迅速趨近 0：例如 $\tanh'(3) = 1 - \tanh^2(3) \approx 0.0099$，$\sigma'(5) \approx 0.0066$。這種現象稱為飽和（saturation）。落在飽和區的神經元幾乎得不到梯度，參數更新得極慢；反向傳播時又要把各層的導數連乘，多層之後梯度會越乘越小，形成梯度消失（vanishing gradient）。

在兩者之間，tanh 的輸出以 0 為中心（事實上 $\tanh(z) = 2\sigma(2z) - 1$），下一層的輸入比較平衡，作為隱藏層通常比 sigmoid 好；但它一樣會飽和。

ReLU 與其變體

ReLU 在 $z > 0$ 時導數恆為 1，正半邊不會飽和，計算又非常便宜，因此是隱藏層的預設選擇。它的缺點是 $z < 0$ 時梯度為 0：若某個神經元的輸入長期為負（例如一次過大的參數更新之後），它就再也不會更新，稱為「死亡 ReLU」（dying ReLU）。Leaky ReLU 在負半邊保留一個小斜率 $\alpha$，讓梯度仍能流動；ELU、GELU（Transformer 中常用）等變體也出於類似的考量。

輸出層的選擇

輸出層的激勵函數由任務決定，而且要與損失函數搭配：

7.3交叉熵損失Cross-Entropy Loss

二元交叉熵

二元分類時，令 $t_i \in \{0, 1\}$ 為目標（target），代表第 $i$ 筆是否為正例；$y_i \in (0, 1)$ 為模型預測 $t_i = 1$ 的機率（sigmoid 的輸出）。損失為

每一項中只有一半會作用：$t_i = 1$ 時損失是 $-\log y_i$，$t_i = 0$ 時是 $-\log(1 - y_i)$。模型越有把握地答錯（例如 $t_i = 1$ 卻預測 $y_i \approx 0$），損失就越趨近無限大。

這個形式不是憑空設計的。若把每筆標籤視為伯努利分布，概似是 $\prod_i y_i^{t_i}(1 - y_i)^{1 - t_i}$，取負對數正好得到 $J$。因此最小化交叉熵就是最大概似估計，也等於最小化真實分布與預測分布之間的 KL 散度（見第 6 章）。

多類別交叉熵

$K$ 個類別時，輸出層以 softmax 把 logit $a_k$ 轉成機率，目標 $\mathbf{t}^{i}$ 以 one-hot 向量表示：

因為 $\mathbf{t}^{i}$ 只有正確類別 $c_i$ 那一格是 1，損失其實就是 $-\sum_i \log y_{c_i}^{i}$：只看模型給正確答案多少機率。二元交叉熵是 $K = 2$ 的特例。實務上常除以 $N$ 取平均，不改變最小值的位置，但讓學習率不受批次大小影響。

為什麼不用平方誤差

分類問題若改用 sigmoid 加平方誤差，對 logit 的梯度會多出一個 $\sigma'(a)$ 因子。當模型錯得很離譜、輸出落在飽和區時，$\sigma'(a) \approx 0$，梯度反而消失，學不動。下一節會看到，交叉熵對 logit 的梯度正好是 $y - t$，誤差越大梯度越大，沒有這個問題。

實作時，不要先算 softmax 再取對數，而是直接由 logit 計算，並先減去最大值避免 $e^{a}$ 溢位（log-sum-exp 技巧）。主流框架的交叉熵函數（例如 PyTorch 的 nn.CrossEntropyLoss）也都直接接收 logit：

def softmax_cross_entropy(logits, t):
    """logits、t 的形狀皆為 (N, K)，t 為 one-hot。回傳平均損失。"""
    a = logits - logits.max(axis=1, keepdims=True)          # 避免 exp 溢位
    log_y = a - np.log(np.exp(a).sum(axis=1, keepdims=True))
    return -(t * log_y).sum(axis=1).mean()

7.4反向傳播Backpropagation

反向傳播就是有系統地套用連鎖律（chain rule）：從輸出層開始，一層一層往回計算損失對每個中間量的偏導數，並重複利用已經算好的結果。這讓計算所有參數梯度的成本，與一次前向傳播大致同一個數量級。

設定

以一個單隱藏層、softmax 輸出的分類網路為例：

為了簡潔，偏權值省略不寫（可以視為一個恆等於 1 的額外輸入 $x_0 = z_0 = 1$）。

步驟一：softmax 的導數

對 $y_j = e^{a_j} / \sum_l e^{a_l}$ 用商的微分法則，分 $j = k$ 與 $j \ne k$ 兩種情況：

其中 $\delta_{jk}$ 是 Kronecker delta：$j = k$ 時為 1，否則為 0。

步驟二：損失對 logit 的導數

先看單一樣本（省略上標 $i$），$J = -\sum_j t_j \log y_j$。改變 $a_k$ 會影響所有的 $y_j$，所以要對 $j$ 加總：

第二行中，$\tfrac{1}{y_j}$ 與 softmax 導數裡的 $y_j$ 互相抵銷；第三行中，$\sum_j t_j \delta_{jk} = t_k$；最後一行用到 $\sum_j t_j = 1$，因為目標本身是一個機率分布（one-hot 向量只有一格為 1）。

步驟三：損失對輸出層權重的導數

$v_{mk}$ 只透過 $a_k$ 影響損失，且 $\partial a_k / \partial v_{mk} = z_m$。把所有樣本的貢獻加總：

讀法很直觀：權重的梯度 = 輸出端的誤差訊號 × 輸入端的激勵值。寫成矩陣，若 $Z$ 是 $N \times M$ 的隱藏層輸出、$Y$ 與 $T$ 是 $N \times K$ 的預測與目標，則梯度為 $Z^\top (Y - T)$。

步驟四：傳回隱藏層

令輸出層的誤差訊號 $e_k^{i} = y_k^{i} - t_k^{i}$。隱藏單元 $z_m$ 透過所有的 $a_k$ 影響損失，因此要把各輸出的誤差沿權重 $v_{mk}$ 加權傳回，再乘上自己的激勵函數導數：

同樣的模式可以一路往回套用到任意深度。以 $[l]$ 符號、單一樣本表示，記 $d\mathbf{z}^{[l]} = \partial J / \partial \mathbf{z}^{[l]}$：

其中 $\odot$ 是逐元素相乘。第二行也說明了梯度消失與爆炸的來源：每往回一層，就要乘上一次權重矩陣與激勵函數導數。

7.5梯度下降的直覺Gradient Descent Intuition

梯度指向函數值上升最快的方向。要讓損失變小，就沿著梯度的反方向走一小步：

其中 $\eta$ 是學習率（learning rate）。可以把凸的成本函數想像成一個碗，全域最小值在碗底；不論從哪裡出發，一路往下坡走，最後都會到達碗底，這就是梯度下降（gradient descent）。反過來，若目標是最大化某個函數（例如對數概似），就沿梯度方向往上走，稱為梯度上升（gradient ascent）：$\theta \leftarrow \theta + \eta\,\nabla_\theta \ell(\theta)$，這與對 $-\ell$ 做梯度下降完全相同。

神經網路的損失函數並不是凸的，存在許多局部最小值、鞍點與平坦區，梯度下降不保證找到全域最小值；但在高維的參數空間中，實務上通常仍能找到表現很好的解。學習率太大會來回震盪甚至發散，太小則收斂緩慢。小批次梯度下降、動量、Adam 等改良方法見第 8 章。

7.6權重初始化Weight Initialization

為什麼不能全部設為 0

如果同一層的權重全部相同（例如全為 0），該層每個神經元的輸出都一樣，反向傳播得到的梯度也一樣，更新之後依然相同。無論訓練多久，整層都只相當於一個神經元。因此權重必須隨機初始化，以打破對稱性（symmetry breaking）；偏權值則可以設為 0。

梯度爆炸與消失

隨機初始化的尺度也很重要。暫時忽略激勵函數與偏權值，深層網路的輸出近似於 $W^{[L]} \cdots W^{[2]} W^{[1]}\mathbf{x}$。若每一層的權重都讓訊號放大 1.5 倍，50 層之後就放大了 $1.5^{50} \approx 6.4 \times 10^{8}$ 倍；若每層縮小為 0.5 倍，則變成 $0.5^{50} \approx 8.9 \times 10^{-16}$。反向傳播的梯度同樣是權重的連乘，所以權重只要略大於或略小於 1，影響就會隨深度呈指數成長，造成梯度爆炸（exploding gradient）或梯度消失。

讓變異數維持穩定

好的初始化讓每一層輸出的變異數大致維持不變。考慮 $z = \sum_{k=1}^{n} w_k a_k$，其中 $n = n^{[l-1]}$。假設權重與輸入互相獨立、權重平均為 0，則

• 對 tanh 這類以 0 為中心、在原點附近近似線性的激勵函數，$\mathbb{E}[a^2] \approx \operatorname{Var}(z^{[l-1]})$，要讓變異數不變，就需要 $\operatorname{Var}(w) = 1/n^{[l-1]}$。
• ReLU 把一半的輸入歸零，$\mathbb{E}[a^2] = \tfrac{1}{2}\operatorname{Var}(z^{[l-1]})$，因此需要兩倍的變異數 $\operatorname{Var}(w) = 2/n^{[l-1]}$，這就是 He 初始化。

Glorot 與 Bengio 進一步考慮反向傳播時梯度的變異數（需要 $\operatorname{Var}(w) = 1/n^{[l]}$），取兩者折衷得到 $2/(n^{[l-1]} + n^{[l]})$。

只考慮前向的 $1/n^{[l-1]}$ 版本也常稱為 LeCun 初始化。實作上就是從標準常態分布抽樣，再乘上縮放係數：

# 第 l 層的權重，形狀為 (n_l, n_prev)
W = np.random.randn(n_l, n_prev) * np.sqrt(2.0 / n_prev)   # He，搭配 ReLU
W = np.random.randn(n_l, n_prev) * np.sqrt(1.0 / n_prev)   # LeCun（常稱 Xavier），搭配 tanh
b = np.zeros((n_l, 1))

適當的初始化能緩解梯度消失與爆炸，但無法完全消除。其他手段還包括批次正規化（batch normalization，見第 8 章）、殘差連接（residual connection，見第 10 章）與梯度裁剪（gradient clipping，見第 11 章）。

7.7參考資料References

• Goodfellow, Bengio & Courville, Deep Learning, MIT Press, 2016，第 6 章 Deep Feedforward Networks、第 8 章 Optimization for Training Deep Models。
• Bishop, C. M., Pattern Recognition and Machine Learning, Springer, 2006，第 5 章 Neural Networks。
• Rumelhart, D. E., Hinton, G. E. & Williams, R. J., "Learning representations by back-propagating errors", Nature, 1986。
• Glorot, X. & Bengio, Y., "Understanding the difficulty of training deep feedforward neural networks", AISTATS, 2010。
• He, K., Zhang, X., Ren, S. & Sun, J., "Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification", ICCV, 2015。
• Nair, V. & Hinton, G. E., "Rectified linear units improve restricted Boltzmann machines", ICML, 2010。
• Stanford CS231n, Convolutional Neural Networks for Visual Recognition 課程筆記。
• deeplearning.ai, Neural Networks and Deep Learning 與 Improving Deep Neural Networks（Coursera 深度學習專項課程第一、二門課）。