EASA

玩統計機器學習筆記

玩統計Element

機器學習筆記

從統計學習的基本功，到深度學習的訓練方法。每一章先說直覺，再推公式，最後談實務上的取捨，作為自己複習、也給同樣在學習路上的你參考。

  • 11章節
  • 69主題
  • 3部分
蜜獾在書桌前對著筆電寫程式，旁邊堆著演算法的書

Part I

方法論Methodology

動手調模型之前，先建立一套有順序的改善流程。

  1. 01機器學習策略Machine Learning Strategy模型表現不如預期時，該先調哪一個旋鈕？用正交化、偏誤與變異分析、錯誤分析，建立一套有順序的改善流程。

Part II

統計學習Statistical Learning

從線性迴歸出發，到分類、降維、模型評估與資訊理論。

  1. 02線性迴歸與模型選擇Linear Regression & Model Selection從最小平方法出發，理解線性迴歸的假設、配適度指標與統計推論，學會用 Cp、AIC、BIC 挑選模型，並避開解讀係數時最常見的陷阱。
  2. 03正則化與線性分類Shrinkage & Linear Classifiers理解脊迴歸、Lasso 與 L0 子集選擇如何以懲罰項換取較低的變異，並掌握邏輯斯迴歸與線性判別分析這兩種線性分類器的假設與差異。
  3. 04決策樹、降維與分群Trees, Dimensionality Reduction & Clustering掌握決策樹如何以貪婪分割建模、主成分分析與核主成分分析如何找出資料的主要方向，以及 K-means 分群的演算法、成本與實務選擇。
  4. 05模型評估與集成學習Evaluation & Ensemble Methods從混淆矩陣讀懂各種分類指標，用交叉驗證可靠地估計誤差，再透過偏誤－變異分解理解 Bagging 與 Boosting 為何有效。
  5. 06損失函數、機率與資訊理論Loss, Likelihood & Information Theory從範數與損失函數出發，連結最大概似、最大後驗與正則化，再用熵與 KL 散度說明交叉熵為何是分類問題的標準損失。

Part III

深度學習Deep Learning

神經網路的基本構造、訓練方法，以及影像與序列模型。

  1. 07神經網路基礎Neural Network Fundamentals從符號與前向傳播出發，理解激勵函數的角色、交叉熵損失與反向傳播的完整推導，以及權重初始化如何避免梯度消失與爆炸。
  2. 08最佳化演算法Optimization Algorithms從梯度下降的三種形式出發，理解病態條件與鞍點等難題，並掌握動量法、RMSProp、Adam、學習率衰減與批次正規化的原理與用法。
  3. 09正則化與訓練實務Regularization & Training Practice掌握 L2 懲罰、dropout、資料擴增與提早停止等正則化方法，並學會有系統地調校超參數、檢查梯度與管理 GPU 記憶體。
  4. 10卷積神經網路與物件偵測CNNs & Object Detection從卷積層與池化層的尺寸、參數計算出發，認識經典 CNN 架構的演進，再延伸到 YOLO 與 R-CNN 系列的物件偵測方法。
  5. 11循環神經網路Recurrent Neural Networks理解 RNN 如何以共享權重處理序列、為何隨時間反向傳播會造成梯度爆炸與消失，以及 LSTM 與 GRU 如何用閘門機制解決這個問題。

More

其他筆記Other notes

機器學習筆記之外的專題整理。

  1. +LLM 微調現場筆記Fine-tuning, from GPU memory to alignment微調大型語言模型的記憶體帳本：互動式 GPU 記憶體試算、LoRA／QLoRA、DPO／PPO／GRPO、KV cache，以及我對舊筆記的更正。

這份筆記整理自 2019 年 4 月的機器學習學習筆記（原發表於 RPubs），2026 年 10 月重新編排成章、改寫為中文，並校訂公式與觀念。若發現錯誤，歡迎透過 LinkedIn 告訴我。