大家好，我是章魚(yú)貓，今天給大家推薦的這個(gè)開(kāi)源項(xiàng)目，來(lái)自于讀者的投稿，另外，我也不得不佩服這位讀者，簡(jiǎn)直太牛了，佩服的真的是五體投地。

這個(gè)開(kāi)源項(xiàng)目是基于深度學(xué)習(xí)，機(jī)器學(xué)習(xí)以及數(shù)據(jù)建模的。1800 頁(yè)，33 章數(shù)學(xué)方法精要筆記。我感覺(jué)就憑這位讀者的毅力和決心我就必須推薦一波。另外大家對(duì)機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)，數(shù)學(xué)建模感興趣的朋友也可以看看這個(gè)開(kāi)源項(xiàng)目。作者記錄的太用心了。

1

書(shū)籍介紹

在信息爆炸的當(dāng)今，大到企業(yè)巨頭的經(jīng)營(yíng)方向， 小到和日常生活相關(guān)的人工駕駛等領(lǐng)域，數(shù)學(xué)建模和人工智能都對(duì)信息數(shù)據(jù)的收集、處理、解釋以及做出決策將起到至關(guān)重要的作用。負(fù)責(zé)開(kāi)發(fā)模型和算法的一線(xiàn)科學(xué)家和工程師， 都需要有堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)。相信有許多所有對(duì)數(shù)學(xué)建模，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)深感興趣的小伙伴，有一定的基礎(chǔ)卻常常被繁雜的定理和錯(cuò)綜的模型所困—— 那么這本書(shū)就是一部可供隨時(shí)查閱，幫助大家融會(huì)貫通的寶典。

本書(shū)有以下幾大亮點(diǎn)：

1. 理論與實(shí)踐相結(jié)合，學(xué)以致用。內(nèi)容詳盡，涵蓋范圍廣。

a. 全書(shū)干貨多覆蓋范圍廣， 包含~100 個(gè)核心算法， 約 300 個(gè)示意圖。例子豐富，且絕大部分定理都有證明。

b. 本書(shū)凝聚了作者多年數(shù)學(xué)建模和機(jī)器學(xué)習(xí)研究和實(shí)戰(zhàn)經(jīng)驗(yàn)。根據(jù)應(yīng)用領(lǐng)域， 本書(shū)總結(jié)并深入講述傳統(tǒng)方法到前沿的深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)算法，幫助讀者迅速抓住重點(diǎn)，減少?gòu)澛贰?/p>

1. 便于學(xué)習(xí)查找，由淺入深，步步為營(yíng)，多用示意圖以助讀者理解

a. 本書(shū)的算法和定理證明中常常引用相關(guān)的其他章節(jié), 循序漸進(jìn)，有助于讀者建立樹(shù)狀知識(shí)脈絡(luò)，一網(wǎng)打盡相關(guān)知識(shí)點(diǎn)。

b. 本書(shū)例子詳實(shí)并多伴有示意圖，清晰易懂。作者基于多年實(shí)踐，總結(jié)并對(duì)易混淆的概念進(jìn)行比對(duì)，幫助讀者更加扎實(shí)掌握相關(guān)內(nèi)容。

全書(shū) GitHub 地址：https://github.com/yangyutu/EssentialMath

全書(shū)總共 33 章分成六個(gè)部分：

1. Mathematical Foundations（數(shù)學(xué)基礎(chǔ)）

2. Mathematical Optimization Methods（數(shù)學(xué)優(yōu)化方法）

3. Classical Statistical Methods（經(jīng)典統(tǒng)計(jì)方法）

4. Dynamics Modeling Methods（動(dòng)力系統(tǒng)建模方法）

5. Statistical Learning Methods（統(tǒng)計(jì)學(xué)習(xí)方法）

6. Optimal Control and Reinforcement Learning Methods（最優(yōu)控制和強(qiáng)化學(xué)習(xí)方法）

作者對(duì)一些熱門(mén)章節(jié)進(jìn)行章節(jié)歸類(lèi)打包下載

1. Linear Algebra and Matrix Analysis

2. Mathematical Optimization

3. Probability and Statistical Estimation

4. Stochastic Process

5. Markov Chain and Random Walk

6. Linear Regression Analysis

7. Statistical Learning

8. Neural Network and Deep Learning

9. (Deep) Reinforcement Learning

整體目錄如下：

I Mathematical Foundations

• Sets, Sequences and Series

• Metric Space

• Advanced Calculus

• Linear Algebra and Matrix Analysis

• Function Sequences, Series and Approximation

• Basic Functional Analysis

II Mathematical Optimization Methods

• Unconstrained Nonlinear Optimization

• Constrained Nonlinear Optimization

• Linear Optimization

• Convex Analysis and Convex Optimization

• Basic Game Theory

III Classical Statistical Methods

• Probability Theory

• Statistical Distributions

• Statistical Estimation Theory

• Multivariate Statistical Methods

• Linear Regression Analysis

• Monte Carlo Methods

IV Dynamics Modeling Methods

• Models and estimation in linear systems

• Stochastic Process

• Stochastic Calculus

• Markov Chain and Random Walk

• Time Series Analysis

V Statistical Learning Methods

• Supervised Learning Principles and Methods

• Linear Models for Regression

• Linear Models for Classification

• Generative Models

• K Nearest Neighbors

• Tree Methods

• Ensemble and Boosting Methods

• Unsupervised Statistical Learning

• Neural Network and Deep Learning

VI Optimal Control and Reinforcement Learning Methods

• Classical Optimal Control Theory

• Reinforcement Learning

Appendix: Supplemental Mathematical Facts

2

內(nèi)容展示

2.1

線(xiàn)性代數(shù)篇

SVD (矩陣奇異值分解) 是線(xiàn)性代數(shù)中最重要工具之一， 經(jīng)常在各類(lèi)統(tǒng)計(jì)以及重要機(jī)器學(xué)習(xí)方法中出現(xiàn)。作者用如下圖示和定理對(duì) SVD 的性質(zhì)進(jìn)行總結(jié)和證明。該證明簡(jiǎn)潔扼要，且所用到的其它輔助定理與證明都在本書(shū)中 。作者使用一個(gè)圖示來(lái)分別指出 complete form SVD 和 compact form SVD 的結(jié)果和原矩陣的關(guān)系。

作者同時(shí)指出新手?；煜囊粋€(gè)知識(shí)點(diǎn)：

2.2

統(tǒng)計(jì)篇

多元高斯隨機(jī)變量( multivariate random variable) 的 affine transformation 經(jīng)常被用于證明高斯隨機(jī)變量的一系列重要性質(zhì)（比如加和， 條件等）。本書(shū)首先給出用矩函數(shù)對(duì)此定理的證明。

然后本書(shū)給出此定理在多元高斯隨機(jī)變量加和中的應(yīng)用。值得一提的是， 作者用腳注強(qiáng)調(diào) jointly normal 這一重要條件。

2.3

機(jī)器學(xué)習(xí)篇

在機(jī)器學(xué)習(xí)的線(xiàn)性分類(lèi)模型中，三種常見(jiàn)模型 SVM, logistic regression 和 Perceptron learning 可以統(tǒng)一在同一個(gè)數(shù)學(xué)優(yōu)化框架下，每種方法對(duì)應(yīng)不同的 loss function。作者對(duì)如何把這三種模型轉(zhuǎn)化成同一個(gè)框架進(jìn)行了詳細(xì)的闡述和證明。

2.4

強(qiáng)化學(xué)習(xí)篇

Value iteration 值迭代是強(qiáng)化學(xué)習(xí)的基石型定理之一，然而目前很多教材資料中并沒(méi)有給出證明。本書(shū)通過(guò) contraction mapping 和 fixed point theorem 得出簡(jiǎn)明的證明。contraction mapping 和 fixed point theorem 的知識(shí)點(diǎn)則在在本書(shū) Part I 有詳細(xì)介紹。

之后作者給出基于 value iteration 的算法。

3

作者心得體會(huì)

這本書(shū)來(lái)源于我在美國(guó)攻讀博士期間上的上課筆記。當(dāng)時(shí)為了解決科研中 一些難題， 上了大量計(jì)算機(jī)和數(shù)學(xué)課。筆記由一開(kāi)始的零零散散，到后來(lái)漸成規(guī)模。我真正開(kāi)始系統(tǒng)性地整理成書(shū)是受到如下一句話(huà)的啟發(fā)：

If you want to learn something, read about it. If you want to understand something, write about it. If you want to master something, teach it.

我逐漸搭建本書(shū)的框架，將學(xué)習(xí)筆記的內(nèi)容在框架下進(jìn)行整合，把最核心的知識(shí)點(diǎn)提煉出來(lái)。隨著我的科研領(lǐng)域從最初的計(jì)算物理建模到現(xiàn)在的微型機(jī)器人系統(tǒng)的多智體強(qiáng)化學(xué)習(xí)，本書(shū)的內(nèi)容也從傳統(tǒng)應(yīng)用數(shù)學(xué)和統(tǒng)計(jì)擴(kuò)展到前沿的深度學(xué)習(xí)和人工智能方法 。在寫(xiě)書(shū)的過(guò)程中，我能感受到自己的知識(shí)體系越發(fā)完備，且系統(tǒng)性的學(xué)習(xí)和研究對(duì)于理論難點(diǎn)的掌握，以及跨領(lǐng)域的應(yīng)用都有著至關(guān)重要的作用。