一、監(jiān)督式學(xué)習(xí) Supervised Learning

在監(jiān)督式學(xué)習(xí)下，每組訓(xùn)練數(shù)據(jù)都有一個標(biāo)識值或結(jié)果值，如客戶流失對應(yīng)1，不流失對應(yīng)0。在建立預(yù)測模型的時候，監(jiān)督式學(xué)習(xí)建立一個學(xué)習(xí)過程，將預(yù)測的結(jié)果與訓(xùn)練數(shù)據(jù)的實際結(jié)果進(jìn)行比較，不斷的調(diào)整預(yù)測模型，直到模型的預(yù)測結(jié)果達(dá)到一個預(yù)期的準(zhǔn)確率。

1. 分類 Classification

（1）K最近鄰 K-Nearest Neighbor (KNN)

（2）樸素貝葉斯 Naive Bayes

（3）決策樹 Decision Tree

◆ C4.5

◆ 分類回歸樹 Classification And Regression Tree (CART)

（4）支持向量機(jī)器 Support Vector Machine (SVM)

2. 回歸 Regression

（1）線性回歸 linear regression

（2）局部加權(quán)回歸 Locally weighted regression

（3）邏輯回歸 logistic Regression

（4）逐步回歸 stepwise regression

（5）多元自適應(yīng)回歸樣條法 multivariate adaptive regression splines

（6）局部散點平滑估計 Locally estimated scatter plot smoothing ( LOESS )

（7）嶺回歸 Ridge Regression

（8）Least Absolute Shrinkage and Selection Operator ( LASSO )

（9）彈性網(wǎng)絡(luò) Elastic Net

（10）多項式回歸 Polynomial Regression

3. 排序 Rank

（1）單文檔分類 Pointwise

◆ McRank

（2）文檔對方法（Pairwise）

◆ Ranking SVM

◆ RankNet

◆ Frank

◆ RankBoost

（3）文檔列表方法（Listwise）

◆ AdaRank

◆ SoftRank

◆ LambdaMART

4. 匹配學(xué)習(xí)

（1）人工神經(jīng)網(wǎng)絡(luò)

◆ 感知神經(jīng)網(wǎng)絡(luò) Perception Neural Network

◆ 反向傳遞 Back Propagation

◆ Hopfield網(wǎng)絡(luò)

◆ 自組織映射 Self-Organizing Map ( SOM )

◆ 學(xué)習(xí)矢量量化 Learning Vector Quantization ( LVQ )

二、半監(jiān)督學(xué)習(xí)

在半監(jiān)督學(xué)習(xí)方式下，訓(xùn)練數(shù)據(jù)有部分被標(biāo)識，部分沒有被標(biāo)識，這種模型首先需要學(xué)習(xí)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，以便合理的組織數(shù)據(jù)來進(jìn)行預(yù)測。算法上，包括一些對常用監(jiān)督式學(xué)習(xí)算法的延伸，這些算法首先試圖對未標(biāo)識數(shù)據(jù)進(jìn)行建模，在此基礎(chǔ)上再對標(biāo)識的數(shù)據(jù)進(jìn)行預(yù)測。如深度學(xué)習(xí)：

1. 深度學(xué)習(xí) Deep Learning

深度學(xué)習(xí)是 監(jiān)督學(xué)習(xí)的匹配學(xué)習(xí)中人工神經(jīng)網(wǎng)絡(luò)延伸出來發(fā)展出來的。

（1）受限波爾茲曼機(jī) Restricted Boltzmann Machine ( RBM )

（2）深度信念網(wǎng)絡(luò) Deep Belief Networks ( DBN )

（3）卷積網(wǎng)絡(luò) Convolutional Network

（4）棧式自編碼 Stacked Auto-encoders

三、無監(jiān)督學(xué)習(xí) Unsupervised Learning

在非監(jiān)督式學(xué)習(xí)中，數(shù)據(jù)并不被特別標(biāo)識，學(xué)習(xí)模型是為了推斷出數(shù)據(jù)的一些內(nèi)在結(jié)構(gòu)。

1. 聚類 Cluster

（1）K均值 k-means

（2）最大期望算法 Expectation Maximization ( EM )

（3）降維方法 Dimensionality Reduction

◆ 主成分分析Principal Component Analysis ( PCA )

◆ 偏最小二乘回歸 Partial Least Squares Regression ( PLS )

◆ Sammon映射 Sammon Mapping

◆ 多維尺度分析 Multidimensional Scaling ( MDS )

◆ 投影尋蹤 Projection Pursuit

◆ RD

2. 關(guān)聯(lián)規(guī)則 Association Rule

（1）Apriori

（2）Eclat

四、增強(qiáng)學(xué)習(xí) Reinforcement Learning

在之前的討論中，我們總是給定一個樣本x，然后給或者不給標(biāo)識值或結(jié)果值（給了就是監(jiān)督式學(xué)習(xí)，不給就是無監(jiān)督式學(xué)習(xí)）。之后對樣本進(jìn)行擬合、分類、聚類或者降維等操作。然而對于很多序列決策或者控制問題，很難有這么規(guī)則的樣本。比如，四足機(jī)器人的控制問題，剛開始都不知道應(yīng)該讓其動那條腿，在移動過程中，也不知道怎么讓機(jī)器人自動找到合適的前進(jìn)方向。

增強(qiáng)學(xué)習(xí)要解決的是這樣的問題：一個能感知環(huán)境的自治agent，怎樣通過學(xué)習(xí)選擇能達(dá)到其目標(biāo)的最優(yōu)動作。這個很具有普遍性的問題應(yīng)用于學(xué)習(xí)控制移動機(jī)器人，在工廠中學(xué)習(xí)最優(yōu)操作工序以及學(xué)習(xí)棋類對弈等。當(dāng)agent在其環(huán)境中做出每個動作時，施教者會提供獎勵或懲罰信息，以表示結(jié)果狀態(tài)的正確與否。例如，在訓(xùn)練agent進(jìn)行棋類對弈時，施教者可在游戲勝利時給出正回報，而在游戲失敗時給出負(fù)回報，其他時候為零回報。agent的任務(wù)就是從這個非直接的，有延遲的回報中學(xué)習(xí)，以便后續(xù)的動作產(chǎn)生最大的累積效應(yīng)。

1. Q-Learning

2. 時間差學(xué)習(xí) Temporal difference learning

五、其他

集成算法

集成算法用一些相對較弱的學(xué)習(xí)模型獨立地就同樣的樣本進(jìn)行訓(xùn)練，然后把結(jié)果整合起來進(jìn)行整體預(yù)測。

1. Boosting

2. Bootstrapped Aggregation ( Bagging )

3. AdaBoost

4. 堆疊泛化 Stacked Generalization

5. 梯度推進(jìn)機(jī) Gradient Boosting Machine ( GBM )

6. 隨機(jī)森林 Random Forest